ロボット学習のデータはどう集める? 遠隔操作とデータセットを論文で比べる

ロボットに作業をまねさせる模倣学習では、人が遠隔操作で見せたお手本が学習データになります。ALOHA・DROID・AgiBot World などの論文から、操作のしかた、データの中身と量、費用、利用条件を比べ、現場で集めるときの論点をまとめました。

Franka Emika のロボットアーム / Ims, CC BY-SA 4.0

結論

2023年4月に公開された ALOHA の論文では、人が小さなロボットアームを手で動かし、その関節の動きを大きなアームが写す仕組みでお手本を集めました。1作業50回、約10〜20分ぶんのお手本で、電池を差し込むといった作業を学ばせています。1 2025年3月に初版が出て2026年10月に改訂された AgiBot World の論文は、100台を超えるロボットで集めた1,001,552件・2,976.4時間のデータを示しています。5

ロボットに作業をまねさせる「模倣学習」では、人が遠隔操作(離れた所からロボットを動かすこと)で見せた動きが学習データになります。この記事で扱う取り組みはどれも研究段階で、数字は論文の実験条件での結果です。工場や倉庫での商用運用の記録ではありません。

根拠

遠隔操作のしかたは大きく2つ

1つ目は関節を写す方式です。ALOHA では、人が手で動かす「リーダー」の腕(WidowX、3,300ドル)の関節に、作業する「フォロワー」の腕(ViperX、約5,600ドル)を同期させます。論文は、VR のコントローラーを持つより、この方式の方が精密な作業で成績がよかったと書いています。カメラは市販のウェブカメラ4台で、操作と記録は1秒に50回(50Hz)、全体は2万ドル未満でした。1 移動台車を足した Mobile ALOHA は、操作する人の腰を台車につなぎ、人が台車ごと動かします。電源と計算機を含めて3万2,000ドル未満です。2

2つ目は手先の位置と向きを写す方式です。DROID は Meta Quest 2 のコントローラーで、腕の手先とグリッパーを動かしました。4 AgiBot World は VR に加え、指の関節まで記録するモーションキャプチャー(人の体の動きを計測する装置)も使います。VR のコントローラーでは、多指のハンドを決まった形でしか動かせないためです。5

1件のお手本に入っているもの

DROID の1件は1秒に15回の記録で、3台のステレオカメラの映像(1280×720)、関節の角度と速度、手先の位置、グリッパーの開き具合を含みます。そこに、クラウドソーシングで付けた1〜3個の指示文、カメラの位置合わせの値、建物の名前と集めた人のID、場面の種類が付きます。4 ALOHA は、フォロワーの関節角度と4台の映像を入力にし、人が動かしたリーダー側の関節角度を「正解の動き」として記録しました。1

取り組み(初版) 操作のしかた データの量 台数・拠点・人 論文に書かれた費用・利用条件
ALOHA(2023年4月)1 リーダーの腕を手で動かす 1作業50回(うち1作業は100回)、約10〜20分 双腕1組、1人 2万ドル未満
Mobile ALOHA(2024年1月)2 同上+腰を台車につなぐ 1作業20〜50回 熟練者2人 3万2,000ドル未満
Open X-Embodiment(2023年10月)3 既存のデータを統合 100万件超 34研究室の60データセット、22種類のロボット —
DROID(2024年3月)4 VR のコントローラー 7.6万件・350時間 13機関で18台、50人、12か月 CC BY 4.0 で公開
AgiBot World(2025年3月)5 VR とモーションキャプチャー 1,001,552件・2,976.4時間 100台超、4,000㎡超の施設 CC BY-NC-SA 4.0 で公開

量だけでなく「ばらつき」と「品質」

Open X-Embodiment の論文は、形の違うデータでモデルを学ばせるため、各データから代表のカメラ1台を選び、動きを手先の7つの値にそろえました。それでも座標の向きまではそろえていません。3 DROID は約20分ごとに場所を変えて集め、同じ7,362件でも、20か所に偏ったデータより場所がばらばらなデータの方が、初めての条件で成績がよかったと報告しています。4

品質では、ALOHA は1人で集めても人のお手本は毎回ばらつくと書いています。1 DROID は集めた人が成否を記録し、失敗とした約1万6,000件は公開しつつ件数に数えていません。4 AgiBot World は、物を落として立て直した「失敗からの回復」のデータ(全体の約1%)に理由と時刻を付けて残しました。学習したモデルが動き出しで長く止まったため、記録の中の止まっている部分を後処理で削ってもいます。5

編集部の見方:現場でデータを集めるときの4つの論点

1つ目は人の時間です。ALOHA の1作業10〜20分のデータは、物を元に戻す時間や操作ミスを含めると30〜60分かかりました。1 見積もりは「データの時間」ではなく「人が拘束される時間」で立てるのがよいと考えます。

2つ目は内製か外注かです。DROID は13機関で同じ機材をそろえ、AgiBot World は専用の施設を建てました。45 外部のデータを使うなら、機体・カメラの位置・作業が自社に近いかが鍵になります。DROID の実験でも、作業ごとに50〜150件のお手本を別に集め、公開データと混ぜて学ばせていました。4

3つ目は品質の決め方です。成功だけを残すのか、失敗や立て直しも残すのか、誰が判定するのかは、集め始める前に決めておくべきです。誰が操作したかを記録しておけば、作業者ごとのくせも後から確かめやすくなると考えます。

4つ目は権利と持ち出しです。公開データでも、DROID は CC BY 4.0、AgiBot World は非営利の条件が付いた CC BY-NC-SA 4.0 と、条件が違います。45 工場で撮った映像には製品や設備の配置が写り、DROID のように集めた人のIDも記録されます。社外のクラウドで学習させるなら、持ち出してよい範囲と作業者への説明を先に決める必要があると考えます。シミュレーションで作る合成データは、この記事では扱いません。

よくある質問

Q. 遠隔操作でお手本を集めるには高価な設備が要りますか?

研究用では、ALOHA は2万ドル未満、Mobile ALOHA は3万2,000ドル未満と論文に書かれています。12 ただし論文の値は研究用の機材の費用です。工場での安全対策や設備への組み込みの費用は、別に見積もる必要があります。

Q. 公開データセットがあれば、自社でお手本を集めなくてよいですか?

そうとは限りません。論文の実験でも、自前の少量のお手本と組み合わせています。Mobile ALOHA は各作業20〜50回の自前データに静止型の ALOHA のデータを混ぜ、7作業のうち5作業で成功率を上げました。2 公開データの利用条件はデータごとに違うため、商用で使う前に確かめる必要があります。

表紙写真: Ims(CC BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/ /https://commons.wikimedia.org/wiki/File:Franka_Emika2.jpg 、幅1600pxに縮小)。写っているのは展示会(Commons の説明では CeBIT 2017)で人が手を添えている Franka Emika のロボットアーム(同説明による)で、本文の論文の実験の写真ではありません。

出典


  1. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware(Stanford University・UC Berkeley・Meta、2023-04-23) https://arxiv.org/abs/2304.13705 (2026-11-02 確認) ↩↩↩↩↩↩↩

  2. Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation(Stanford University、2024-01-04) https://arxiv.org/abs/2401.02117 (2026-11-02 確認) ↩↩↩↩

  3. Open X-Embodiment: Robotic Learning Datasets and RT-X Models(Open X-Embodiment Collaboration、2023-10-13 初版・2025-05-14 改訂v9) https://arxiv.org/abs/2310.08864 (2026-11-02 確認) ↩↩

  4. DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset(Stanford University・UC Berkeley ほか、2024-03-19 初版・2025-04-22 改訂v2) https://arxiv.org/abs/2403.12945 (2026-11-02 確認) ↩↩↩↩↩↩↩↩

  5. AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems(The University of Hong Kong・AgiBot Inc. ほか、2025-03-09 初版・2026-10-20 改訂v5) https://arxiv.org/abs/2503.06669 (2026-11-02 確認) ↩↩↩↩↩↩

関連記事

記事一覧 →