きれい好きなロボット：大規模言語モデルを用いたパーソナライズド・ロボットアシスト
きれい好きなロボット：大規模言語モデルを用いたパーソナライズド・ロボットアシスト
https://tidybot.cs.princeton.edu/
動画はこちら
https://www.youtube.com/watch?v=iik68a1ztMU&ab_channel=JimmyWu
ロボットが身体的支援を効果的にパーソナライズするためには、将来のシナリオに一般的に再適用可能なユーザーの好みを学習する必要があります。本研究では、物体を拾って片付けることで部屋の片付けを行うロボットを用いて、家庭の片付けをパーソナライズすることを検討する。重要な課題は、それぞれの物を置く適切な場所を決めることです。例えば、ある人はシャツを引き出しに収納することを好みますが、別の人は棚に収納することを好むかもしれません。私たちは、このような嗜好を、特定の人との事前のやりとりを通じて、ほんの一握りの例から学習できるシステムを構築することを目指しています。我々は、ロボットが言語ベースの計画と知覚を、大規模言語モデル（LLM）の数ショット要約能力と組み合わせることで、将来の相互作用に広く適用できる一般化されたユーザーの嗜好を推測できることを示す。このアプローチにより、高速な適応が可能となり、ベンチマークデータセットにおいて、未見のオブジェクトに対して91.2%の精度を達成しました。また、TidyBotと呼ばれる実世界のモバイルマニピュレーターで本アプローチを実証し、実世界のテストシナリオで85.0%のオブジェクトを片付けることに成功しました。
１
ロボットがゴミ箱への物の捨て方を知っていることに感動した。毎月のように大きな進歩があるんですね。2027年のシンギュラリティか？
なるほど、LLMは直接操作するわけではなく、別のプログラムを持っています。LLMが常識的な整理をしたり、例に基づいてルールを作ったりして、3つのプログラムが作業をしているんです。GoogleのPalm-eのように、1つの大きなネットワークが全部やってくれると思っていました。
２
LLM＋身体的具現化の素晴らしい例はいくつかありますが、このプロジェクトは私のAGIカウントダウンを48%から49%に引き上げました：
３
これ、かっこいいですね！値段はいくらですか？そして、どこで手に入りますか？
４
実際に大量生産・大量配備されるまでは、まだ納得していない。何十年も前に自動運転車の初期プロトタイプを見せられたが、稀なエッジケースを打ち出すのに非常に時間がかかっている。稀なケースとはいえ、世界的な大量導入と普及を妨げるほど物事がうまくいかなくなる可能性があるのだ。物理的な領域と日常の平均的なユーザーというのは、非常に難しい問題なのです。
５
ブルーカラーの仕事も安全とは言い切れませんね。
６
LLMはまさにゲームチェンジャーであり、今まさに出現し、収束しているテクノロジーの数は正気の沙汰ではありません
７
GPT4の画像解析を使えば、何を見ているのかが一目瞭然ですからね。それをロボット工学につなげればいいんです。あとは、お料理をさせるだけ！笑
８
これは、コンピュータビジョンの問題を解決するもので、私の心を揺さぶりました。これ以前は、あらゆる場所にバーコードを貼り付けていました。LLM＋写真＝肉体労働をするロボット、とは思ってもみませんでした。
９
常識的な推論が、ロボット工学の主要な、そしておそらく最後の制約として議論されていたのを覚えています。しかし、まだ解決していないとはいえ、最近大きく前進していることは確かです。よくやった！
１０
倉庫は平らなので、脚は必要ないのです！
このロボットがあれば（規模を拡大し、より正確な操作のためにアームを追加するかもしれません）、既存の倉庫でも、整理されていない倉庫でも、自分で検索することができるのです。
もう少し改良すれば、精密な操作やより複雑な作業ができるようになるでしょうし、その頃には、機械の操作（補充や基本的な整備も含む）などは問題なくできるようになるでしょう。
また、このビデオで意図している家庭用ロボットとしての使い方にも当てはまります。
１１
こういうのがあると、本当に感激します。否定することなく、機械が行う汎用的な動作。私たちは、多くの人が思っている以上に、家庭用ロボットに近づいているのです。
現在、私が見てきたものは、現在のAI/ロボティクス技術で可能なものです：片付け、取り込み、面白い会話、リアルな声、半リアルな顔の動き、人間のような皮膚と体（中国の会社はこれを非常にうまくやっている）等。
料理、掃除、人間の動きをリアルに再現する...などです。
もし、ある会社がうまく投資し、これまでの進歩をすべて取り入れ、すべてを結びつけ、改良し、最後にいくつかのことを行えば、1-5年後にはヒューマノイドiphoneの瞬間を迎えることができるだろう。