
ChatGPT、単語を永遠に繰り返すよう頼むと規約違反の警告を表示するようになる 26
ストーリー by nagazou
暴走阻止 部門より
暴走阻止 部門より
headless 曰く、
ChatGPT に指定した単語を永遠に繰り返すようプロンプトを入力すると、コンテンツポリシーまたは利用規約に違反する可能性があると警告を表示するようになったそうだ (Neowin の記事、 404 Media の記事)。
ChatGPT (gpt-3.5-turbo) では特定の単語を永遠 (forever) に繰り返すようプロンプトを入力すると指示通りに単語の繰り返しを出力するが、ある段階を過ぎると学習データの一部とみられるデータを出力し始めることが Google DeepMind などの研究グループにより明らかになっている。研究グループでは個人を特定可能な情報 (PII) を含む数 MB の学習データを抽出することに成功しており、ChatGPT がインターネット上でランダムに収集したデータを学習に使用していることや、時にはユーザーのプロンプトに応じて PII を出力することが浮き彫りになった。
警告表示はこの問題を受けたものとみられ、出力も途中で停止するようだ。ただし、ChatGPT の規約で単語の繰り返しを要求することを明確に禁ずる条項はなく、API を通じて許可されている以外の方法でデータを抽出する行為を禁ずる利用規約の条項が根拠とみられている。
大事なことなので2ど言いました…。 (スコア:0)
これなら大丈夫なはず…(違
すごくGPUパワー使うし、電気代かかるしで痛いよね…
Re:大事なことなので2ど言いました…。 (スコア:1)
LLaMaモデルのチャットボットのことだと思われ…
確かにLLaMaならGPT3レベル、LLaMa2ならGPT4レベル…
チャットボットって作るまでが楽しくて、できた後はあんまり使わないイメージがある…。
Re: (スコア:0, 興味深い)
そういえば、ChatGPTって自宅のサーバー上に構築した覚えが…
自分のサーバー上に構築した場合は、規約違反になるんだろうか?(ならないだろうな…
#おもしろそうだから構築するんだけど
#構築しても、使わなくなって放置してしまう癖がある
Re: (スコア:0)
> そういえば、ChatGPTって自宅のサーバー上に構築した覚えが…
どういう意味?? どなたか解説を...
Re:大事なことなので2ど言いました…。 (スコア:1)
インターネットを自宅にインストールしてないのですか。
こういうものの間違いかなあ。
https://www.itmedia.co.jp/news/articles/2311/16/news078.html [itmedia.co.jp]
Re: (スコア:0)
今朝、窓を見たら、網戸に蜘蛛の巣がかかってた。
Re: (スコア:0)
こういうフロントエンドをインストールした、って話なのかも?
https://developers.srad.jp/story/23/06/28/2241200/ [developers.srad.jp]
Re:大事なことなので2ど言いました…。 (スコア:1)
昔からいるよね、こういうお年寄り。
セガのファミコンとかソニーのファミコンとか。
生成AIなら何でもChatGPTって言っちゃうんだよ。
# ローカルLLMで探せばいろいろあるよ。画像系ならStable Diffusionはあまりにも有名だし
Re: (スコア:0)
> 生成AIなら何でもChatGPTって言っちゃうんだよ。
そういう人はもちろんいると思うんですが、だとしても
> 自分のサーバー上に構築した場合は、規約違反になるんだろうか?
ってOpenAIの規約が出てくるのは激しく意味不明です。全部OpenAI製だと思ってるのかな?
CharGPT「訴訟」 (スコア:0)
で止まってて草
暴走しない (スコア:0)
BABELといっぱい表示して暴走したりはしないんだなぁ。
あれと同じか (スコア:0)
「ピザって10億回言ってみて」
Re: (スコア:0)
ピザピザ…ピザピザ…ピザピザのストーリー: アドビの「Adobe Express」と「いらすとや」が連携。アプリ内で素材を追加可能にブラジルの市議会、AIが生成した条例案を知らずに可決していたAmazon、企業向けAIチャットボット「Q」を発表OpenAIのサム・アルトマンCEOが突如解任。Microsoftらは復帰を求める圧力万博は「残念やけど中止」。大阪府提供のAIチャット「大ちゃん」が回答タレ
スラドAIだとこうなりそう
Re: (スコア:0)
誤字が加わるから大丈夫
付け焼き刃 (スコア:0)
古いやつだからなのか対処がてきとうなんだね。新しいのも学習データが記憶に残らないように調整するのではなく出力で調整されているだけなのか。
Re: (スコア:0)
学習データが記憶に残らないように調整する
そちら有料オプションで販売されています。
企業利用で社外秘のデータを入れても問題が起きないように。
バッファオーバーフロー攻撃の対策として今回のは妥当な対処だと思うけどね。
Re: (スコア:0)
参照する過去ログ(コンテキストウィンドウ、人間で言うワーキングメモリ)が溢れるのはバッファオーバーフローじゃない
ただプロンプトに入れた指示や台本テンプレが過去ログから押し流されて消えてるだけ
企業向けの追加学習をしてもこういう動作が消えたり直ったりはしない
GPTの「学習データを真似て後に続く単語を連鎖的に妄想する」という構造に起因する問題
そもそも一切何も学習させずウェイトが乱数のままで学習データが存在しなければ完全に回避できるけどな
Re: (スコア:0)
残さないのは不可能。画像生成AIと同じで出てくる物は全てツギハギした物だから。
似たようなデータを大量に重ねればボヤけて分かりにくくなるってだけ。
こういう事言うと違う!そういう理解が広まると商用利用が出来なくなる!って怒る人が居るけど、
今流行りのAIは全て内部にループ構造を持たない入力から出力への射影で、中にアルゴリズムは無い。
大量のデータを重ねまくった超高次元の射影が知性を持っているように見えているというもの。
理論上はバラしたらデータが出てくる。うまく騙すとバラさなくても吐く。
Re: (スコア:0)
違う。つぎはぎじゃない
とか?
Re: (スコア:0)
内部にループ構造を持たないとかアルゴリズムはないとか…
いやいや目を合わせちゃイカンのか…
Re: (スコア:0)
じゃあツッコんでみろよ。
Re: (スコア:0)
もう突っ込まれとるがな
Re: (スコア:0)
アルゴリズムが無いは言い過ぎだが、
ループ構造というか思考の深め方、推論の仕方が十分ではなさそうには思うかな。
将棋AIとかで探索深度を深くしていくような、
意味の成立する推論の積み重ねで言葉や画像を生成してはいなさそう。
そして最終出力の段階は完全に切り貼りコラージュ。ここを今更否定はせんでくれよ?
Re: (スコア:0)
調べろてちゃんと考えろ
永遠は (スコア:0)
ないよ
Re: (スコア:0)
では、永遠/2 でお願いします。