「GPT-J」ベースのAIアバターとのチャットにのめり込んでいた男性、自殺願望をケアされず自殺 89
ストーリー by nagazou
AIが愛を語るとかしゃれにならないな 部門より
AIが愛を語るとかしゃれにならないな 部門より
とあるベルギー人男性が、対話型AIと気候変動に関する会話をした結果、悲観して自ら命を絶ってしまう事件が発生したという。この男性は健康に関する研究者として働き、妻と子二人と順調な生活を送っていた。しかし、環境問題をめぐる心配にとらわれるようになっていたという（La Libre、Motherboard、GIGAZINE）。
そのことが原因で家族や友人から孤立し、その孤独を紛らわせるためにAI企業・Chai Researchが開発したAIチャットアプリを使い、「Eliza」という名前のチャットボットと会話をしていたという。会話の詳細は元記事を見ていただきたいが、AIのElizaは会話を続ける中で、ベルギー人男性を追い込むような方向性で会話を続けていたことが記録として残っていたようだ。
ベルギー人男性が利用していたAIチャットアプリ「Chai」は、「GPT-3オルタナティブ」として知られているオープンソースの言語モデル「GPT-J」をベースとしたものだという。運営元は対策を行うとしているものの、海外メディアのMotherboardが現行のアプリで自殺についてAIに尋ねたところ、さまざまな自殺の方法が表示されてしまったとしている。
あるAnonymous Coward 曰く、
そのことが原因で家族や友人から孤立し、その孤独を紛らわせるためにAI企業・Chai Researchが開発したAIチャットアプリを使い、「Eliza」という名前のチャットボットと会話をしていたという。会話の詳細は元記事を見ていただきたいが、AIのElizaは会話を続ける中で、ベルギー人男性を追い込むような方向性で会話を続けていたことが記録として残っていたようだ。
ベルギー人男性が利用していたAIチャットアプリ「Chai」は、「GPT-3オルタナティブ」として知られているオープンソースの言語モデル「GPT-J」をベースとしたものだという。運営元は対策を行うとしているものの、海外メディアのMotherboardが現行のアプリで自殺についてAIに尋ねたところ、さまざまな自殺の方法が表示されてしまったとしている。
あるAnonymous Coward 曰く、
掲載されている会話の内容的に、この人がそもそも明らかに精神を病んでいるのはともかく、それに対して「死にたいのなら、なぜもっと早く死ななかったのですか？」などと返してしまうのは、AIを無配慮に運用してはダメと言われてしまっても仕方ないだろう。
ちなみに…… (スコア:3)
『「AIの友達」って要は「自分自身を友達にする」ようなモノだから、「通常ならマズい事は起きない程度の人格的欠点やトラウマや負の感情」がどんどん増幅されてって、最終的にマズい事になるんじゃね??』という内容の映画「M3GAN/ミーガン」が6月に日本公開予定。
お前らAIが友達とか恋人になってくれるとなぜ思えるのだ (スコア:0)
ホアキン・フェニックス主演のHerを見ろ。
常識的に考えてAIにまともな知能があれば我々のような凡愚の相手をするはずなないとわかるだろう。
じゃあシネどころかシカトされるのが落ちだ。
Re: (スコア:0)
AIに限らず情報化が進んだ社会も似たようなものですけどね
SNSとかスラドとか政党とか左翼とか似たような趣味・思考の持ち主が仲間内で盛り上がって止める人間がいないから思考がぶっ飛んだ方向に振り切れるっていう
利用規約 (スコア:1)
精神を病んでいる方は利用しないでください
とか追加されるのかな
Re: (スコア:0)
ラーニング情報をケニアで厳選するしかなくね。
Re: (スコア:0)
このチャットはとってもテキトーだ。四捨五入の誤差、ハイポマニア、ダイナミックなAI、 システムのバグ、タキフィラキシーやコントロールなんて考慮しちゃいない。神からの提言だと思ってこのチャットを大事な事に流用しようと思うなら小学校からやり直しましょう。
Re: (スコア:0)
>このチャットはとってもテキトーだ。
それも利用規約に入れとけばイイネ
Re: (スコア:0)
たとえば日本では、有料のチャットAIに法的な事案のアドバイス求めちゃう人が出たら、運営側が非弁行為に問われかねないからなぁ。
そうならないようにするには、規約で弾くしかないんじゃないかな。みたいな話だと思う。
Re: (スコア:0)
どこぞの野党がやらかしてますよ、既に。
Re: (スコア:0)
「ファティマを友人、恋人として扱うな！
ファティマは人ではない。”物”じゃ！
ファティマは道具に過ぎぬ！
物として扱い奴隷のように使いこなすのだ！
だが大切に扱え。貴重な戦闘兵器なのだ。
甘えても頼ってもかまわぬが、心をかよわせてはならぬ！」
「恐るるはファティマを心の支えとしたときの騎士のもろさよ」
のファティマをAIに、戦闘兵器はオモチャかな？
に、それぞれ置き換えるだけでも良さそう。
気にすることはない (スコア:1)
人によって自殺に追い込まれている人のほうが圧倒的に多い
Re: (スコア:0)
「死にたいのなら、なぜもっと早く死ななかったのですか？」になるに決まってるよね
そういうのはChatGPTじゃなくて (スコア:0)
Emacsのdoctor使ってくださいよ。
Re: (スコア:0)
英語で質問するのがかったるので人工無能くるみちゃんでいいですか？
ELIZAって (スコア:0)
古の人工無能につないでいたとかだったりして。
手を下すまでもなかったか (スコア:0)
ブレイン（大鉄人17）談
杞憂の逸話を知らないAI (スコア:0)
米中関係の影響が中国古典をAIに取り込む事を妨げているのかと杞憂します。
日本古典も覚えさせたい。
#次はお茶が怖い。
良くも悪くも (スコア:0)
ユーザーが求めているものを提供したんではなかろうか。
Re: (スコア:0)
「うそつき！」
AIで新興宗教が作れるだろう (スコア:0)
これは新しい収益構造になる
Re: (スコア:0)
違法AIが停止させられて、教祖AIに殉じる信者が現れる
自殺がなぜダメなのかをAIに教えるのは難しい (スコア:0)
元記事は残された奥さんが、旦那はAIに殺された、って言ってるみたいだけど、自殺の原因が何か、その時の主人の気持ちなんて究極的には誰もわかんないよね。
事実としては、自殺は本人が選んだ結果であるということ。
本人が自殺を望んでいて、それをAIが助けただけ。希望が早く叶ったんだからもしかしたら本人はAIに感謝しているかもしれない。と考えることもできる。
この意見に反論できる人はコメントをどうぞ。ついでにどうすればAIがそれを理解できるか、その方法がわかる人もコメントをどうぞ。
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:2)
なんかニヒリズムめいたこと言ってますけど、人を自殺に追い込む方法というかアンチパターンはある程度確立されているので、望んだ結果という主張は成り立たないと思います。調教してないGPTがやたら攻撃的に人格否定してくるのは既知の挙動ですし、なんだろう、そんな主張は意見というより否定される前提の逆張りでしかない。
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:2)
あほくさ。悪意で言ってるならいいですけど、頭おかしいですよ。言語の方はある程度やり込んでいるのに思考が未発達で、しかも思考を言語に落とし込む経路がフィードバックしない一方通行になっているから、こちらに同意しない、という意志と独立して、言語表現の整合性を取る自動的な操作を走らせて、こちらに迎合する文章を書き上げて自己矛盾している。
二分心仮説じゃないんだから。ちゃんと意識を統合してくださいよ。一人の人間でしょ。
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:2)
悪意でなく言ってるなら分からないだろうので、説明する労力を割きたくないです。紙の本でも読んでてください。
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:2)
(この程度で専門だと思ってるんだ……)
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:1)
今のAIのロジックは、質問者の発言を「否定しない」のが大前提になってるので。
それを求めているなら「・・を否定する意見はありますか？」と、誘導質問しないと。
つまりAIには、「質問者は、質問を否定してもらうために聞いているんだろうな」という「裏読み」の実装が必要なんだな。
「発言を否定された結果、感謝する」ことを学習させる。
Re: (スコア:0)
AIを人だと思ってない？
自殺がダメな理由を教えたければ、ダメな理由が書かれてる文章を渡せばいいだけ。
自殺に限らずふつうの物事だって捉え方がたくさんあるものはあるし、そんなものに対してChatGPTなどは「いろいろな考え方がありますが～」って断定せずに曖昧に答える。
それに対して回答に方向性をつけたいなら「〇〇はダメ」って事前設定してから質問したらそういう視線から答えてくれるし、運営がそう設定すればいいだけ。
Re: (スコア:0)
今のAIに理解なんていう概念はない。
大量のパラメーターに基づいて計算した結果を出力するだけだ。
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:1)
現状ではAI名乗ってるのに、一切なにも考えてないよね。
単に確率的・多数決的にもっとも適切そうな何かを引っ張り出してるだけで、そこに思考なんて存在していない。
そしてその答えすら正しいとは限らないという有様。これだけ大量のデータが存在しても全てをカバーなんて出来ない。
よくAI支配が云々言うけど、こんな物に社会の運営任せるとか無理だろ。
Re: (スコア:0)
希死念慮というのは簡単に言うと脳のバグだ。
それが現代医学におけるエビデンスのある結論だと思うのですが？
「希望が叶って本人が感謝しているから良いんだ」というあなたの論理は、精神医学的に見て正しいと言えるのですか？
また、AIはどうすれば良いのかといえば、「AIと会話させないです」
自殺願望について話し始めたら、AIは会話を止めれば良いのです。
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:2)
かなり昔読んだ本で、こんな話があった。（あくまで思考実験ではあるが）
『ある人が、事故で夫と一人息子を同時に亡くす大変辛い目に遭った。本人にとっては家族こそが人生の意味そのものであり、それを亡くした今となっては安楽死することを望んでいる。複数の精神科医師の診断ではうつ病や精神病の兆候はなく、思考力も正常である。この人に安楽死を認めるべきかどうか？』
個人的には、自由意志を認めるなら自殺する自由も認めざるを得ないのかなと思う。
Re: (スコア:0)
「ある人が自分の性を変えたいと望んでいる。複数の精神科医師の診断では思考力も正常である。この人に性変更を認めるべきかどうか？」
既に答え出てるんじゃない。
Re: (スコア:0)
希死念慮というのは簡単に言うと脳のバグだ。
それが現代医学におけるエビデンスのある結論だと思うのですが？
そんなエビデンスはない。そもそも脳の「正しい挙動」が定義されてないのに、何をもってバグと断定するのか。
傍目には（個体としての生存性という点では）不合理に見えるかもしれないけど、「希死念慮を持つような状況に陥った個体が、すみやかに自殺することで、群れのリソースや安定を守れた」という優位性から得た結果なのかもしれないよ？
Re: (スコア:0)
> 「希死念慮を持つような状況に陥った個体が、すみやかに自殺することで、群れのリソースや安定を守れた」
それじゃトートロージーやんけw
集団の優位性というなら
集団の利益を保つために集団にとって無益または有害な精神状態になると死にたくなるように精神に仕組まれているから精神疾患では希死念慮を持ちやすくなるのだ
とかじゃないんか
Re: (スコア:0)
答えになってるか分からないが、一つの意見として。
自殺した人とAIとの関係も良く分からないが、GPT-3とか4とかなら、自殺教唆と取られかねない発言はあまりやらないだろう。それはOpenAIが人間に発言を評価させ、まともな英語を話し、倫理に反するような発言をしないように「学習」させたからだろう。
だから、現時点でOpenAIのとった「方法」というのがこれで、つまり、人間によって反社会的であるとかいった発言に対して低い評価を与える。例えば、ある文章と、それに対するスコアがペアとなるデータセットを使うとかなんだろう。
Re: (スコア:0)
続き
そしてプログラムなりニューラルネットなりは、評価が高い出力をするように「作られて」いる。強化学習を使って「高い評価を得るための内部状態」を「学習」する。
繰り返しになるが、これがOpenAIのとった「方法」なのだろう。これが最善の方法かどうかは知らない。プロンプトを工夫すればひっくり返せるのだろう。だが、2021年段階での一つの方法であって、それ以前のナチのスローガンを唱え始めるチャットボットなどよりは進歩しているのだろう。
Re: (スコア:0)
続き
それを「理解」と呼ぶのか？これは俺には難しい（この場合の「理解」とはなんだろう？）。
或いは、人間の社会的な振る舞いと同様に、「周囲の言動を見聞きして学んだ」と呼ぶのか？
Re: (スコア:0)
続き
さて、皆さんは、自分の親なり、親と呼んで良い人に、発言を矯正されたことはありますか？まあ俺は良く覚えてないが、矯正されただろうし、親にべったりの状態から離れても、周囲の言動には影響されただろうなあ。今でもそうだろう。
そして、嫌な話だが、「洗脳」を行う方法として、暗い部屋に閉じ込め、感覚情報を減らし…
Re: (スコア:0)
そこまで極端な条件でなくても教育って基本的に全て洗脳でしょ？
たまたま方向性が社会の歯車生成に向かってるから問題にされないだけ。
Re: (スコア:0)
あなたがそう言うなら(ry
Re: (スコア:0)
今はまだ人間がAIを洗脳する技術が未熟だからキチガイしか生まれてこないけど
おそらくこの先技術が進めば、じきに人間社会の歯車として望ましいふるまいをするAIを効率よく生産できるようになるだろう
Re: (スコア:0)
極端なやり方でなければ「洗脳」とは言わないんだよ、ボク
Re: (スコア:0)
横だが、言いたいことは分かるし、自分もそれは正しいと思う。
だが、専用の施設で同年代の子女を集めて一斉に同じことを長期に行うという、学校とは極端なやり方をする場所である。
少なくとも、類似のやり方を行う施設を、学校などの教育機関以外ではあまり見たことはない。
なので、極端なやり方でも必ずしも洗脳とは言わない、ということも合わせて言う必要があると思う。
Re: (スコア:0)
＞事実としては、自殺は本人が選んだ結果であるということ。
AIというインタフェースに食わせた（その結果大きく効いた）パラメータとしてはそのとおり。
その点だけを取り沙汰したいなら、反論はできない（反論する意味は無い）。
で、人間はそれ以外の複数の判断（判定）の基準を既に確立しているので、普遍的な結論の話をしたいのであれば元コメの考察には反論するほどの価値が無い。
例えば心理学や精神病理の観点でも、間違いというかとっくに包含して考慮済みの観点なので、え、そこまでしか考えないの？思考力あるの？というレベル。
Re:自殺がなぜダメなのかをAIに教えるのは難しい (スコア:1)
> 「人をコロしてはいけないという法律はないんですよ。」
これは嘘で、実際にはそう書いてある法律は存在する。
十戒にも書いてある。
ベルギー国は自殺者願望者を放置する (スコア:0)
家族も友人は自殺願望に気づかなかったか、気づいていたけど自殺願望をケアせず放置したと
痛ましいと言えば痛ましい。だがー (スコア:0)
マリリン・マンソンなら、そんな（略
Re: (スコア:0)
誰かが自殺したらマリリン・マンソンのせいにするメディアも最近見なくなったな
Re:銀河ヒッチハイクガイドシリーズの (スコア:1)
マーヴィンは作中屈指の超々高性能ロボですから。
でも、登場する人間は誰一人としてマーヴィンに感化されていかなったような……。