パスワードを忘れた? アカウント作成
21164934 story
人工知能

ChatGPT、単語を永遠に繰り返すよう頼むと規約違反の警告を表示するようになる 26

ストーリー by nagazou
暴走阻止 部門より
headless 曰く、

ChatGPT に指定した単語を永遠に繰り返すようプロンプトを入力すると、コンテンツポリシーまたは利用規約に違反する可能性があると警告を表示するようになったそうだ (Neowin の記事404 Media の記事)。

ChatGPT (gpt-3.5-turbo) では特定の単語を永遠 (forever) に繰り返すようプロンプトを入力すると指示通りに単語の繰り返しを出力するが、ある段階を過ぎると学習データの一部とみられるデータを出力し始めることが Google DeepMind などの研究グループにより明らかになっている。研究グループでは個人を特定可能な情報 (PII) を含む数 MB の学習データを抽出することに成功しており、ChatGPT がインターネット上でランダムに収集したデータを学習に使用していることや、時にはユーザーのプロンプトに応じて PII を出力することが浮き彫りになった。

警告表示はこの問題を受けたものとみられ、出力も途中で停止するようだ。ただし、ChatGPT の規約で単語の繰り返しを要求することを明確に禁ずる条項はなく、API を通じて許可されている以外の方法でデータを抽出する行為を禁ずる利用規約の条項が根拠とみられている。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2023年12月06日 17時49分 (#4575201)

    これなら大丈夫なはず…(違

    すごくGPUパワー使うし、電気代かかるしで痛いよね…

    • by Anonymous Coward on 2023年12月06日 22時27分 (#4575333)

      LLaMaモデルのチャットボットのことだと思われ…
      確かにLLaMaならGPT3レベル、LLaMa2ならGPT4レベル…
      チャットボットって作るまでが楽しくて、できた後はあんまり使わないイメージがある…。

      親コメント
    • Re: (スコア:0, 興味深い)

      by Anonymous Coward

      そういえば、ChatGPTって自宅のサーバー上に構築した覚えが…
      自分のサーバー上に構築した場合は、規約違反になるんだろうか?(ならないだろうな…

      #おもしろそうだから構築するんだけど
      #構築しても、使わなくなって放置してしまう癖がある

  • by Anonymous Coward on 2023年12月06日 18時19分 (#4575222)

    Can I File a Lawsuit If I Suffered Hearing

    で止まってて草

  • by Anonymous Coward on 2023年12月06日 18時42分 (#4575235)

    BABELといっぱい表示して暴走したりはしないんだなぁ。

  • by Anonymous Coward on 2023年12月06日 20時10分 (#4575276)

    「ピザって10億回言ってみて」

    • by Anonymous Coward

      ピザピザ…ピザピザ…ピザピザのストーリー: アドビの「Adobe Express」と「いらすとや」が連携。アプリ内で素材を追加可能にブラジルの市議会、AIが生成した条例案を知らずに可決していたAmazon、企業向けAIチャットボット「Q」を発表OpenAIのサム・アルトマンCEOが突如解任。Microsoftらは復帰を求める圧力万博は「残念やけど中止」。大阪府提供のAIチャット「大ちゃん」が回答タレ

      スラドAIだとこうなりそう

      • by Anonymous Coward

        誤字が加わるから大丈夫

  • by Anonymous Coward on 2023年12月06日 20時49分 (#4575295)

    古いやつだからなのか対処がてきとうなんだね。新しいのも学習データが記憶に残らないように調整するのではなく出力で調整されているだけなのか。

    • by Anonymous Coward

      学習データが記憶に残らないように調整する

      そちら有料オプションで販売されています。
      企業利用で社外秘のデータを入れても問題が起きないように。

      バッファオーバーフロー攻撃の対策として今回のは妥当な対処だと思うけどね。

      • by Anonymous Coward

        参照する過去ログ(コンテキストウィンドウ、人間で言うワーキングメモリ)が溢れるのはバッファオーバーフローじゃない
        ただプロンプトに入れた指示や台本テンプレが過去ログから押し流されて消えてるだけ

        企業向けの追加学習をしてもこういう動作が消えたり直ったりはしない
        GPTの「学習データを真似て後に続く単語を連鎖的に妄想する」という構造に起因する問題
        そもそも一切何も学習させずウェイトが乱数のままで学習データが存在しなければ完全に回避できるけどな

    • by Anonymous Coward

      残さないのは不可能。画像生成AIと同じで出てくる物は全てツギハギした物だから。
      似たようなデータを大量に重ねればボヤけて分かりにくくなるってだけ。

      こういう事言うと違う!そういう理解が広まると商用利用が出来なくなる!って怒る人が居るけど、
      今流行りのAIは全て内部にループ構造を持たない入力から出力への射影で、中にアルゴリズムは無い。
      大量のデータを重ねまくった超高次元の射影が知性を持っているように見えているというもの。
      理論上はバラしたらデータが出てくる。うまく騙すとバラさなくても吐く。

      • by Anonymous Coward

        違う。つぎはぎじゃない
        とか?

      • by Anonymous Coward

        内部にループ構造を持たないとかアルゴリズムはないとか…
        いやいや目を合わせちゃイカンのか…

        • by Anonymous Coward

          じゃあツッコんでみろよ。

          • by Anonymous Coward

            もう突っ込まれとるがな

        • by Anonymous Coward

          アルゴリズムが無いは言い過ぎだが、
          ループ構造というか思考の深め方、推論の仕方が十分ではなさそうには思うかな。
          将棋AIとかで探索深度を深くしていくような、
          意味の成立する推論の積み重ねで言葉や画像を生成してはいなさそう。
          そして最終出力の段階は完全に切り貼りコラージュ。ここを今更否定はせんでくれよ?

          • by Anonymous Coward

            調べろてちゃんと考えろ

  • by Anonymous Coward on 2023年12月07日 10時57分 (#4575462)

    ないよ

    • by Anonymous Coward

      では、永遠/2 でお願いします。

typodupeerror

犯人はmoriwaka -- Anonymous Coward

読み込み中...