Fei-Fei Li氏「ロボット最大の問題はデータ」 世界モデルは行動計画モデルへ
空間知能AIを開発する米World Labsが、世界モデル「Atlas」をロボット開発に活用する構想を明らかにした。同社共同創業者でStanford大学教授のFei-Fei Li氏は「現在のロボティクス最大の問題はデータだ」と指摘。Atlasを使って現実の作業環境をシミュレーション空間に取り込み、ロボットの訓練データを大量に作る考えを示した。
さらに将来は、世界モデルに「この行動を取れば世界がどう変化するか」を学習させ、ロボットの行動計画そのものを担わせる構想も描いている。
Fei-Fei Li氏らWorld Labsの共同創業者が、米ベンチャーキャピタルa16zのインタビューで語った。
現実の作業環境を仮想空間に取り込む
ロボット開発では、実際の工場や作業場所を仮想空間に再現し、その中でロボットを繰り返し訓練する手法が使われる。
Fei-Fei Li氏は例として、工場でロボットアームにケーブル配線を学ばせるケースを挙げた。
まず現実の作業環境を3Dデータとして取り込み、シミュレーション空間を作る。その中でロボットに作業を学習させ、性能を評価したうえで、学習結果を現実のロボットに移す。
現実からシミュレーションへ移す工程を「real-to-sim」、シミュレーションで身につけた能力を現実へ移す工程を「sim-to-real」と呼ぶ。
問題は、real-to-simに大きな手間がかかることだ。
従来は現実の作業環境を3D化するため、多数の画像を撮影し、空間を細かく再構築する必要があった。Fei-Fei Li氏は、この作業が時間と労力を要し、ロボット用シミュレーションの開発速度を妨げていると説明した。
Atlasは、少数の画像から3D空間を再構築し、画像に写っていない部分を生成能力で補える。この能力を使えば、現実の作業環境をシミュレーションに取り込む工程を短縮できる可能性がある。
Fei-Fei Li氏は「Atlasはこのreal-to-simの次世代技術になる」との考えを示した。
ロボットには「違う状況」を大量に経験させる必要
ただし、一つの作業環境を再現するだけでは十分ではない。
例えばケーブルを扱うロボットなら、実際の現場ではケーブルの曲がり方や位置は毎回違う。箱の大きさや色、蓋の形、周囲の物体の配置も変わる。
そこで必要になるのが、同じ環境の条件を少しずつ変えて、大量の訓練パターンを作る「randomization」だ。
Fei-Fei Li氏は、ケーブルの曲がり方、箱の大きさや色、配置などを変化させることで、ロボットに多様な状況を経験させる必要があると説明した。現実世界ですべての組み合わせを実際に作ってデータを集めるのは難しいため、シミュレーションの役割が大きくなる。
同氏は、現在のロボティクス最大の問題はデータだと指摘する。
文章生成AIには大量の文章があり、画像生成AIにはインターネット上の膨大な画像がある。だがロボットに必要なのは、物体が置かれた状態だけではない。
「ロボットがある行動を取ったとき、世界がその後どう変化したか」というデータが大量に必要になるのだという。
失敗まで学習する「ニューラルシミュレーター」
World Labs共同創業者のJustin Johnson氏は、ロボットAIと画像生成AIやコード生成AIの違いをこう説明する。
画像生成AIは大量の画像から学習でき、コード生成AIには大量のソフトウエアがある。一方、ロボットは現実世界の中で行動し、その結果を受けながら目的を達成しなければならない。
現実世界は常に想定通りに反応するとは限らない。
物をつかみ損ねるかもしれない。物体が倒れるかもしれない。ケーブルが予想外の方向へ曲がるかもしれない。
Johnson氏は、ロボットを現場に投入する前に、実運用で起こり得るさまざまな失敗を訓練中に経験させる必要があると指摘する。
そこで同社が将来構想として挙げるのが、現実世界の変化そのものを学習した「neural simulator（ニューラルシミュレーター）」だ。
大量の実世界データから、
「この状態で、この行動を取ったら、次に世界はどうなるか」
を予測する。
従来のシミュレーターでは、人間があらかじめ物理法則や想定される状況をプログラムする必要があった。World Labsが想定するニューラルシミュレーターでは、モデル自身がデータから世界の反応を学習するのだという。
世界モデル自身がロボットの「プランナー」に
World Labsが描くロードマップは、ロボットの訓練環境を作るところでは終わらない。
Johnson氏は、世界モデルが「行動すると世界がどう変わるか」を予測できるなら、逆に「望む状態にするには、どんな行動を取ればいいか」を考えることもできるのではないかと指摘。「シミュレーター自身がplannerになれるのではないか」と語った。
例えば世界モデルが、
「ロボットが箱を右に押せば、箱はこの位置まで動く」と予測できるなら、「箱を目的の位置へ動かすには、どこをどう押せばいいか」も逆算できるはず。
ただそのためには、静止した3D空間だけでなく、時間とともに世界がどう変化するかを学習する必要がある。
Atlasはすでに初期的な「dynamics（動的変化）」を扱える設計になっているという。公開された映像では、水面の波や車の移動など、時間とともに変化する要素が確認できる。前世代のMarbleが基本的に静的な空間を扱うモデルだったのに対し、Atlasは事前学習の段階から動的なデータも取り込んでいる。
Fei-Fei Li氏は次の段階として、Atlasにより多くの動的データを学習させることで、モデルの出力とロボットの「action planning（行動計画）」の間をつないでいく考えを示した。
World Labsが目指しているのは、ロボット向けの3Dデータを効率よく作るだけではない。
現実世界をシミュレーションし、行動の結果を予測し、その予測を使って次の行動を決める。世界モデルを、ロボットが物理世界で行動するための中枢へ発展させようとしているわけだ。
