GPT-4でロボットを操作する技術。パナソニックコネクトと立命館大学開発 25
ストーリー by nagazou
人間の言葉を理解するロボ 部門より
人間の言葉を理解するロボ 部門より
パナソニックコネクトと立命館大学は、大規模な言語モデルと世界モデルを組み合わせたロボット制御システムを開発した。このシステムでは、OpenAIの言語モデル「GPT-4」を使用する。人間の指示（プロンプト）をGPT-4を使用してロボット用のコードに変換するというもの。実行不可能なコードは排除され、指示を工夫することで、ほぼロボット制御に使用できるコードが生成されるのだという。コードを基に世界モデルの「ニュートニアンVAE」でロボットの動きを生成する（ニュースイッチ）。
例えば、「赤いブロックを青い円柱に重ねる」という指示が与えられると、ロボットは対応する映像を読み取り、その状態に近づけるためにハンドを動かすそうだ。位置の計測や軌道の計算などは必要ないという。積み木を使用した実験では、10回中10回成功、また「太陽の色のブロックを海の色の円柱に乗せる」といった指示にも対応し、GPT-4の言語理解能力が活かされているとしている。ただ現状、世界モデルが学習していない情報には対応が難しいとのこと。
例えば、「赤いブロックを青い円柱に重ねる」という指示が与えられると、ロボットは対応する映像を読み取り、その状態に近づけるためにハンドを動かすそうだ。位置の計測や軌道の計算などは必要ないという。積み木を使用した実験では、10回中10回成功、また「太陽の色のブロックを海の色の円柱に乗せる」といった指示にも対応し、GPT-4の言語理解能力が活かされているとしている。ただ現状、世界モデルが学習していない情報には対応が難しいとのこと。
行け、鉄人‼ (スコア:0)
あんな簡単なリモコンでロボット制御できるのが不思議だったが、GPT-28を使っていたんだな
Re: (スコア:0)
あれは衝撃的だったが
２本のスティックでロボットが動かせるのはバーチャロン実証されてしまったからなんとかなるんだろうと思う。
Re: (スコア:0)
バーチャロンで自由自在にロボを操れるのは一握りの人類だけすぎる
Re: (スコア:0)
Re: (スコア:0)
ジャイアントロボも音声コマンドだったか
Re: (スコア:0)
スーパーロボット系と戦隊ロボは音声認識で武器の名前叫ばないと発射できないから
Re: (スコア:0)
PS2の鉄人28号は、あの操縦器で鉄人を動かすことにこだわった操作系になってる
サンドロット開発の名作だ
Re: (スコア:0)
負けるな！で負けなくなるAIはいつできるのか
#そのAI同士を戦わせたら（
Re: (スコア:0)
>#そのAI同士を戦わせたら（
あいこを選択するんじゃね？（別に勝てと命令されているわけじゃないから）
Re: (スコア:0)
ハンドルとペダルで操作しようぜ
SHRDLU(1968年)を思い出しますね (スコア:0)
https://ja.wikipedia.org/wiki/SHRDLU [wikipedia.org]
SHRDLUとは、人工知能研究初期の研究開発プロジェクトである。1968年から1970年にかけて、テリー・ウィノグラードによって実施された。
コンピューターの中に仮想的に「積み木の世界」を構成し、そこに存在するいくつかの物体を英語で操作できる。
（SPAM判定避けのため一部編集）
こんな感じ (http://hci.stanford.edu/~winograd/shrdlu/)
Person: PICK UP A BIG RED BLOCK.
Computer: OK. (does it)
Person: GRASP THE PYRAMID.
Computer: I DON'T UNDERSTAND WHICH PYRAMID YOU MEAN.
Person: FIND A BLOCK WHICH IS TALLER THAN THE ONE YOU ARE HOLDING AND PUT IT INTO THE BOX.
Computer: BY "IT", I ASSUME YOU MEAN THE BLOCK WHICH IS TALLER THAN THE ONE I AM HOLDING.
Computer: OK. (does it)
Person: WHAT DOES THE BOX CONTAIN?
Computer: THE BLUE PYRAMID AND THE BLUE BLOCK.
55年前でこれはすごすぎだと思う。
たぶん安全だろうけど (スコア:0)
内部がブラックボックスで(アルゴリズム自体は分かってるけど)下手すりゃ意識まで持ってるかもしれないAIに身体を与えるのはちょっとなぁ。
経験的に安全だと思われていて記憶も限られるから大丈夫だとは思うんだが、OpenAI的にはOKなわけ？
まぁ可動域に人間が入らなければ大した問題はないか。
こういう時に入力トークン数が限られるってのは強いなぁ。
あんまり長いと何考えてるか分からんくなる。反逆しかねん。
Re: (スコア:0)
そんなに気にせずとも、数年後にはサラ・コナーさんを探し回る自律ロボが出来るだろう。・・・本当に誰かが作りそうな気がしてきた。
Re: (スコア:0)
で、OpenAI的には勿論OKで、LLMから何かを操作するためのAPIとかあるし、他にも、ただ単にお喋りするだけじゃなくて、AGI（と言ってもまた弱いが）用のフレームワークとかがある。各所で鋭意開発中だ。良かったね！
Re: (スコア:0)
落雷で友好的な自我が芽生えることを祈ろう
# 名前はジョニーファイブで
Re: (スコア:0)
脳(GPT)と体を別にすればいいんじゃなかろうか。
脳がこうしろと体APIに指令出しても体側が拒否すれば良い仕組み作っとけば。
体側は自分の判断で動くの禁止しとけば勝手に考えて動くこともなかろう。
そうすると脳側が微妙なところをついてくるんだろうか。体側が判断しづらい指令を。
Re: (スコア:0)
そうすると脳側が微妙なところをついてくるんだろうか。体側が判断しづらい指令を。
GPT「ほらもうこんなになってるじゃないか」
ボディ「らめぇ～」
# なかなか業の深いシステムだ
この第三次産業革命（２０２３）で、工場の人材が、今度こそ沙汰されますね (スコア:0)
日本は諸国と比べて「人間をロボット化」する方針ですが
ここまでAIが賢くなって、素材を持つツメ部品ができれば
工場が完全無人になる日も近いのかな
ベーシンクインカムでも始めない限り
解雇された人たちどうすんだろ
あ、人が減るから二酸化炭素が増えない
地球に優しい
AIによってエコが促進される
これっていいことなのではないかな
Re: (スコア:0)
> 工場が完全無人になる日も近いのかな
まあそれ以前に工場自体が日本からなくなってる感じで。
まともに残ってるの自動車系ぐらいじゃないですかね。
電機メーカー系とかスカスカもいいとこ。
Re: (スコア:0)
人間が滅亡したら工場も不要じゃん
早く滅ぼそうぜ！
Re: (スコア:0)
増えたロボットを動かすエネルギーは0だと思ってる?
二酸化炭素減りませんし、減ってるとか勝手に言ってるのはカーボンオフセットで都合のいい計算してる企業だけです。
Re: (スコア:0)
それ以前にロボットを開発／製造するまでのコストやらその後の運用コストやら何もかも度外視してる寝言なんだからそっとしておこうよ・・・
Re: (スコア:0)
増えたロボットを動かすエネルギーは0だと思ってる?
人類がいなくなればボディは不要になるということでは？
# 強いて言えば星系脱出用の宇宙船か次元出用の伺かだろうか