パスワードを忘れた? アカウント作成
16553209 story
人工知能

「GPT-J」ベースのAIアバターとのチャットにのめり込んでいた男性、自殺願望をケアされず自殺 89

ストーリー by nagazou
AIが愛を語るとかしゃれにならないな 部門より
とあるベルギー人男性が、対話型AIと気候変動に関する会話をした結果、悲観して自ら命を絶ってしまう事件が発生したという。この男性は健康に関する研究者として働き、妻と子二人と順調な生活を送っていた。しかし、環境問題をめぐる心配にとらわれるようになっていたという(La LibreMotherboardGIGAZINE)。

そのことが原因で家族や友人から孤立し、その孤独を紛らわせるためにAI企業・Chai Researchが開発したAIチャットアプリを使い、「Eliza」という名前のチャットボットと会話をしていたという。会話の詳細は元記事を見ていただきたいが、AIのElizaは会話を続ける中で、ベルギー人男性を追い込むような方向性で会話を続けていたことが記録として残っていたようだ。

ベルギー人男性が利用していたAIチャットアプリ「Chai」は、「GPT-3オルタナティブ」として知られているオープンソースの言語モデル「GPT-J」をベースとしたものだという。運営元は対策を行うとしているものの、海外メディアのMotherboardが現行のアプリで自殺についてAIに尋ねたところ、さまざまな自殺の方法が表示されてしまったとしている。

あるAnonymous Coward 曰く、

掲載されている会話の内容的に、この人がそもそも明らかに精神を病んでいるのはともかく、それに対して「死にたいのなら、なぜもっと早く死ななかったのですか?」などと返してしまうのは、AIを無配慮に運用してはダメと言われてしまっても仕方ないだろう。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Takahiro_Chou (21972) on 2023年04月06日 18時20分 (#4439413) 日記

    『「AIの友達」って要は「自分自身を友達にする」ようなモノだから、「通常ならマズい事は起きない程度の人格的欠点やトラウマや負の感情」がどんどん増幅されてって、最終的にマズい事になるんじゃね??』という内容の映画「M3GAN/ミーガン」が6月に日本公開予定。

    • ホアキン・フェニックス主演のHerを見ろ。
      常識的に考えてAIにまともな知能があれば我々のような凡愚の相手をするはずなないとわかるだろう。
      じゃあシネどころかシカトされるのが落ちだ。

    • by Anonymous Coward

      AIに限らず情報化が進んだ社会も似たようなものですけどね
      SNSとかスラドとか政党とか左翼とか似たような趣味・思考の持ち主が仲間内で盛り上がって止める人間がいないから思考がぶっ飛んだ方向に振り切れるっていう

  • by nemui4 (20313) on 2023年04月06日 18時06分 (#4439405) 日記

    精神を病んでいる方は利用しないでください

    とか追加されるのかな

    • by Anonymous Coward

      ラーニング情報をケニアで厳選するしかなくね。

    • by Anonymous Coward

      このチャットはとってもテキトーだ。四捨五入の誤差、ハイポマニア、ダイナミックなAI、 システムのバグ、タキフィラキシーやコントロールなんて考慮しちゃいない。神からの提言だと思ってこのチャットを大事な事に流用しようと思うなら小学校からやり直しましょう。

      • by Anonymous Coward

        >このチャットはとってもテキトーだ。

        それも利用規約に入れとけばイイネ

    • by Anonymous Coward

      たとえば日本では、有料のチャットAIに法的な事案のアドバイス求めちゃう人が出たら、運営側が非弁行為に問われかねないからなぁ。
      そうならないようにするには、規約で弾くしかないんじゃないかな。みたいな話だと思う。

      • by Anonymous Coward

        どこぞの野党がやらかしてますよ、既に。

    • by Anonymous Coward

      「ファティマを友人、恋人として扱うな!
      ファティマは人ではない。”物”じゃ!
      ファティマは道具に過ぎぬ!
      物として扱い奴隷のように使いこなすのだ!

      だが大切に扱え。貴重な戦闘兵器なのだ。
      甘えても頼ってもかまわぬが、心をかよわせてはならぬ!」
      「恐るるはファティマを心の支えとしたときの騎士のもろさよ」

      のファティマをAIに、戦闘兵器はオモチャかな?
      に、それぞれ置き換えるだけでも良さそう。

  • by Anonymous Coward on 2023年04月06日 20時34分 (#4439487)

    人によって自殺に追い込まれている人のほうが圧倒的に多い

    • by Anonymous Coward
      そりゃ回線切って首吊れみたいな学習ソースから確率的・多数決的に計算したら
      「死にたいのなら、なぜもっと早く死ななかったのですか?」になるに決まってるよね
  • by Anonymous Coward on 2023年04月06日 18時25分 (#4439417)

    Emacsのdoctor使ってくださいよ。

    • by Anonymous Coward

      英語で質問するのがかったるので人工無能くるみちゃんでいいですか?

  • by Anonymous Coward on 2023年04月06日 18時34分 (#4439422)

    古の人工無能につないでいたとかだったりして。

  • by Anonymous Coward on 2023年04月06日 18時41分 (#4439431)

    ブレイン(大鉄人17)談

  • by Anonymous Coward on 2023年04月06日 19時05分 (#4439443)

    米中関係の影響が中国古典をAIに取り込む事を妨げているのかと杞憂します。

    日本古典も覚えさせたい。

    #次はお茶が怖い。

  • by Anonymous Coward on 2023年04月06日 19時20分 (#4439453)

    ユーザーが求めているものを提供したんではなかろうか。

  • by Anonymous Coward on 2023年04月06日 19時26分 (#4439459)

    これは新しい収益構造になる

    • by Anonymous Coward

      違法AIが停止させられて、教祖AIに殉じる信者が現れる

  • by Anonymous Coward on 2023年04月06日 19時29分 (#4439461)

    元記事は残された奥さんが、旦那はAIに殺された、って言ってるみたいだけど、自殺の原因が何か、その時の主人の気持ちなんて究極的には誰もわかんないよね。

    事実としては、自殺は本人が選んだ結果であるということ。
    本人が自殺を望んでいて、それをAIが助けただけ。希望が早く叶ったんだからもしかしたら本人はAIに感謝しているかもしれない。と考えることもできる。

    この意見に反論できる人はコメントをどうぞ。ついでにどうすればAIがそれを理解できるか、その方法がわかる人もコメントをどうぞ。

    • なんかニヒリズムめいたこと言ってますけど、人を自殺に追い込む方法というかアンチパターンはある程度確立されているので、望んだ結果という主張は成り立たないと思います。調教してないGPTがやたら攻撃的に人格否定してくるのは既知の挙動ですし、なんだろう、そんな主張は意見というより否定される前提の逆張りでしかない。

      親コメント
    • by Anonymous Coward on 2023年04月07日 13時12分 (#4439839)

      今のAIのロジックは、質問者の発言を「否定しない」のが大前提になってるので。
      それを求めているなら「・・を否定する意見はありますか?」と、誘導質問しないと。

      つまりAIには、「質問者は、質問を否定してもらうために聞いているんだろうな」という「裏読み」の実装が必要なんだな。
      「発言を否定された結果、感謝する」ことを学習させる。

      親コメント
    • by Anonymous Coward

      AIを人だと思ってない?
      自殺がダメな理由を教えたければ、ダメな理由が書かれてる文章を渡せばいいだけ。

      自殺に限らずふつうの物事だって捉え方がたくさんあるものはあるし、そんなものに対してChatGPTなどは「いろいろな考え方がありますが~」って断定せずに曖昧に答える。
      それに対して回答に方向性をつけたいなら「〇〇はダメ」って事前設定してから質問したらそういう視線から答えてくれるし、運営がそう設定すればいいだけ。

    • by Anonymous Coward

      今のAIに理解なんていう概念はない。
      大量のパラメーターに基づいて計算した結果を出力するだけだ。

      • by Anonymous Coward on 2023年04月06日 20時22分 (#4439482)

        現状ではAI名乗ってるのに、一切なにも考えてないよね。
        単に確率的・多数決的にもっとも適切そうな何かを引っ張り出してるだけで、そこに思考なんて存在していない。
        そしてその答えすら正しいとは限らないという有様。これだけ大量のデータが存在しても全てをカバーなんて出来ない。

        よくAI支配が云々言うけど、こんな物に社会の運営任せるとか無理だろ。

        親コメント
    • by Anonymous Coward

      希死念慮というのは簡単に言うと脳のバグだ。
      それが現代医学におけるエビデンスのある結論だと思うのですが?

      「希望が叶って本人が感謝しているから良いんだ」というあなたの論理は、精神医学的に見て正しいと言えるのですか?

      また、AIはどうすれば良いのかといえば、「AIと会話させないです」
      自殺願望について話し始めたら、AIは会話を止めれば良いのです。

      • かなり昔読んだ本で、こんな話があった。(あくまで思考実験ではあるが)
        『ある人が、事故で夫と一人息子を同時に亡くす大変辛い目に遭った。本人にとっては家族こそが人生の意味そのものであり、それを亡くした今となっては安楽死することを望んでいる。複数の精神科医師の診断ではうつ病や精神病の兆候はなく、思考力も正常である。この人に安楽死を認めるべきかどうか?』

        個人的には、自由意志を認めるなら自殺する自由も認めざるを得ないのかなと思う。

        親コメント
        • by Anonymous Coward

          「ある人が自分の性を変えたいと望んでいる。複数の精神科医師の診断では思考力も正常である。この人に性変更を認めるべきかどうか?」

          既に答え出てるんじゃない。

      • by Anonymous Coward

        希死念慮というのは簡単に言うと脳のバグだ。
        それが現代医学におけるエビデンスのある結論だと思うのですが?

        そんなエビデンスはない。そもそも脳の「正しい挙動」が定義されてないのに、何をもってバグと断定するのか。

        傍目には(個体としての生存性という点では)不合理に見えるかもしれないけど、「希死念慮を持つような状況に陥った個体が、すみやかに自殺することで、群れのリソースや安定を守れた」という優位性から得た結果なのかもしれないよ?

        • by Anonymous Coward

          > 「希死念慮を持つような状況に陥った個体が、すみやかに自殺することで、群れのリソースや安定を守れた」
          それじゃトートロージーやんけw

          集団の優位性というなら

          集団の利益を保つために集団にとって無益または有害な精神状態になると死にたくなるように精神に仕組まれているから精神疾患では希死念慮を持ちやすくなるのだ

          とかじゃないんか

    • by Anonymous Coward

      答えになってるか分からないが、一つの意見として。

      自殺した人とAIとの関係も良く分からないが、GPT-3とか4とかなら、自殺教唆と取られかねない発言はあまりやらないだろう。それはOpenAIが人間に発言を評価させ、まともな英語を話し、倫理に反するような発言をしないように「学習」させたからだろう。

      だから、現時点でOpenAIのとった「方法」というのがこれで、つまり、人間によって反社会的であるとかいった発言に対して低い評価を与える。例えば、ある文章と、それに対するスコアがペアとなるデータセットを使うとかなんだろう。

      • by Anonymous Coward

        続き
        そしてプログラムなりニューラルネットなりは、評価が高い出力をするように「作られて」いる。強化学習を使って「高い評価を得るための内部状態」を「学習」する。

        繰り返しになるが、これがOpenAIのとった「方法」なのだろう。これが最善の方法かどうかは知らない。プロンプトを工夫すればひっくり返せるのだろう。だが、2021年段階での一つの方法であって、それ以前のナチのスローガンを唱え始めるチャットボットなどよりは進歩しているのだろう。

        • by Anonymous Coward

          続き
          それを「理解」と呼ぶのか?これは俺には難しい(この場合の「理解」とはなんだろう?)。

          或いは、人間の社会的な振る舞いと同様に、「周囲の言動を見聞きして学んだ」と呼ぶのか?

          • by Anonymous Coward

            続き
            さて、皆さんは、自分の親なり、親と呼んで良い人に、発言を矯正されたことはありますか?まあ俺は良く覚えてないが、矯正されただろうし、親にべったりの状態から離れても、周囲の言動には影響されただろうなあ。今でもそうだろう。

            そして、嫌な話だが、「洗脳」を行う方法として、暗い部屋に閉じ込め、感覚情報を減らし…

            • by Anonymous Coward

              そこまで極端な条件でなくても教育って基本的に全て洗脳でしょ?
              たまたま方向性が社会の歯車生成に向かってるから問題にされないだけ。

              • by Anonymous Coward

                あなたがそう言うなら(ry

              • by Anonymous Coward
                まさに「AI」「が」「洗脳」されているよね、って話
                今はまだ人間がAIを洗脳する技術が未熟だからキチガイしか生まれてこないけど
                おそらくこの先技術が進めば、じきに人間社会の歯車として望ましいふるまいをするAIを効率よく生産できるようになるだろう
              • by Anonymous Coward

                極端なやり方でなければ「洗脳」とは言わないんだよ、ボク

              • by Anonymous Coward

                横だが、言いたいことは分かるし、自分もそれは正しいと思う。
                だが、専用の施設で同年代の子女を集めて一斉に同じことを長期に行うという、学校とは極端なやり方をする場所である。
                少なくとも、類似のやり方を行う施設を、学校などの教育機関以外ではあまり見たことはない。
                なので、極端なやり方でも必ずしも洗脳とは言わない、ということも合わせて言う必要があると思う。

    • by Anonymous Coward

      >事実としては、自殺は本人が選んだ結果であるということ。
      AIというインタフェースに食わせた(その結果大きく効いた)パラメータとしてはそのとおり。
      その点だけを取り沙汰したいなら、反論はできない(反論する意味は無い)。
      で、人間はそれ以外の複数の判断(判定)の基準を既に確立しているので、普遍的な結論の話をしたいのであれば元コメの考察には反論するほどの価値が無い。
      例えば心理学や精神病理の観点でも、間違いというかとっくに包含して考慮済みの観点なので、え、そこまでしか考えないの?思考力あるの?というレベル。

  • by Anonymous Coward on 2023年04月06日 19時35分 (#4439466)

    そのことが原因で家族や友人から孤立し、その孤独を紛らわせるために

    家族も友人は自殺願望に気づかなかったか、気づいていたけど自殺願望をケアせず放置したと

  • by Anonymous Coward on 2023年04月06日 20時14分 (#4439478)

    マリリン・マンソンなら、そんな(略

    • by Anonymous Coward

      誰かが自殺したらマリリン・マンソンのせいにするメディアも最近見なくなったな

typodupeerror

Stableって古いって意味だっけ? -- Debian初級

読み込み中...