# 3Dを見て動くAIはどこまで来たか 小型深度モデルから空間エージェントまで

- 媒体: 知能圏（CHINOUKEN）
- 公開日: 2026-10-13
- カテゴリー: AI・モデル
- タグ: 3D AI、空間認識、AIエージェント、フィジカルAI、深度推定
- 想定読了時間: 約15分
- 調査基準日: 2026年10月13日
- 出典: 11件（末尾の「参照リンク」に番号順で記載）
- ページ: https://www.chinouken.com/articles/spatial-ai-agents-depth-to-action
- このMarkdown: https://www.chinouken.com/articles/spatial-ai-agents-depth-to-action.md
- 利用条件: 引用する場合は出典として「知能圏（chinouken.com）」と該当ページのURLを明記してください。本文の再配布は行わず、要約や引用の範囲で使ってください。

カメラの画像から物の手前・奥を推定するAIが、約600万パラメータで動くようになりました。一方、部屋の中で物を探し、つかみ、指定された場所へ置くロボットには、実際の距離に加えて物の位置関係、動き、行動後の確認が要ります。DepthARTを入口に、3Dを捉える研究とAIエージェントの技術が2026年にどこまでつながったか、論文の測定値と実機で示された動作を分けて読みます。

![じょうろを棚下段の緑の箱へ運ぶ場面を例に、DepthARTの小型深度推定、Depth Anything 3とD4RTの視点・時間の統合、SpatialClawの道具を使う空間推論、DepthWorldの映像予測、Gemini Robotics 2の実機動作を整理した図。DepthWorldの1.48デシベルは、同じ構造・学習データ・学習予算のカラー映像のみの版と比べた、外部カメラの予測映像のPSNR改善を指す。各研究は一つのロボットに統合されたものではない。](https://www.chinouken.com/images/articles/spatial-ai-agents-depth-to-action/hero.png)

*じょうろを運ぶ実機例から、奥行き推定、3Dの位置合わせ、道具を使う空間推論、行動後の予測と身体の制御をたどります。DepthWorldの予測画質は同条件のカラー映像のみの版との比較です。各成果は独立した研究・製品で、図中のパラメータ数、質問正答率、予測画質、実機の成功率は同じ物差しで比較できません。*

## 画像に奥行きが加わると何が変わるか

「じょうろを棚の下段にある緑の箱へ入れて」とロボットへ頼む場面を考えます。カメラ画像には、じょうろ、棚、箱が平面上の色と形として映ります。ロボットが歩いて手を伸ばすには、それぞれがどの方向にどれほど離れ、手前の物が奥の物を隠していないかを知る必要があります。腕を動かした後には、じょうろをつかめたか、箱がまだ同じ場所にあるかをもう一度確かめなければなりません。

一枚の画像から画素ごとの奥行きを推定する技術は、この仕事の入口です。近い部分と遠い部分の並びを表す「相対深度」があれば、物の前後や境界を読みやすくなります。ただし相対深度の値だけでは、棚まで何メートルあるかは決まりません。実際の距離を扱う「メートル単位の深度」には、カメラの焦点距離などの条件も関わります。さらに、画像の外にある物や、カメラ自身が動いた後の位置を知るには、複数の視点や時間を通した情報が要ります。[1]

2026年には、この一連の仕事が別々の研究で進んでいます。小さな端末で奥行きを推定するDepthART、視点や時間をまたいで3Dの形と動きをそろえるモデル、必要な視覚の道具を選んで空間問題を解くエージェント、実際に身体を動かすロボットです。いずれも「3Dを理解したAI」と呼ばれる一方で、示した能力と試験の条件は異なります。

## DepthARTは小さな端末で奥行きを推定する

DepthARTは、写真一枚から奥行きを推定するAIを、端末で動かせる大きさへ縮めた研究です。カメラを積んだ機器では、映像を受け取るたびに距離を計算するため、モデルが大きいほど計算時間と電力が重くなります。研究チームが2026年7月に公表した最小の相対深度モデルは600万パラメータです。論文はACM Multimedia 2026への採択を記載しています。[1]

小型化の鍵は、モデルの構造だけでなく学ぶ画像の選び方にもあります。研究チームは約4400万枚の候補を画像全体の見え方で整理し、似た画像が密集した領域からの抽出を抑えました。最終的に約170万枚を学習へ使い、大きなDepth Anything V2の予測を小型モデルへ学ばせています。都市の道路や似た構図の室内ばかり覚えると、初めての場所へ移ったときに奥行きが崩れやすい、という問題への対応です。[1]

同じ170万枚、同じ学習条件で画像の選び方を変えた論文内比較では、未学習のKITTI画像に対する相対深度の指標が、無作為抽出の0.905から提案手法の0.930へ上がりました。これは予測結果を画像ごとに尺度とずれで合わせた評価です。ロボットが0.930の確率で正しく物をつかむ、あるいは距離をメートル単位で測れた、という数字ではありません。[1]

距離をメートル単位で出す版では、学習した画像認識部分を固定し、カメラの焦点距離や画像中心を使って距離の尺度を調整します。公式プロジェクトの表記は相対深度の最小版が600万、距離版の最小版が800万パラメータです。投稿で見かける「600万で距離まで推定」という読み方は、この二つの版を混ぜてしまいます。[1][2]

![DepthARTは約4400万枚の候補から似た見え方の重複を抑えて約170万枚を選び、大きなモデルの予測を学習する。相対深度版は約600万パラメータで手前と奥を示し、メートル単位の距離版は約800万パラメータでカメラ条件を使う。KITTIの0.905から0.930は同じ170万枚を無作為抽出した場合と密度で選んだ場合の相対深度評価の差。](https://www.chinouken.com/images/articles/spatial-ai-agents-depth-to-action/figure-depthart-boundary.png)

*似た画像の偏りを抑えて学ぶ過程と、相対深度版・距離版の違い。点の数は実際の画像枚数比ではありません。KITTIの数値は同じ170万枚での画像選別方法の比較で、画像ごとに尺度とずれを合わせた相対深度の指標です。*

著者はJetson Orin NX 8GBを最大電力設定で動かし、計算を高速化するTF32を有効にした224×224画素の相対深度モデルについて、毎秒102回のモデル単体推論を報告しています。Jetson Nanoでの毎秒15回超も論文にはありますが、224×224画素での不完全な測定です。公開リポジトリには、Nanoでの一連の動作試験と配備手順、完全な学習コードが未公開と記されています。数字は研究チームの測定条件で読み、カメラ入力からロボットの動作までがその速度で完了するとは受け取れません。[1][2]

## 複数の視点と時間から3D空間をそろえる

奥行き画像を一枚ずつ得ても、ロボットが移動すると同じ棚が画面の別の位置へ映ります。どの点が同じ物に属し、カメラがどこへ動いたかをそろえて初めて、部屋の形を継続して扱えます。この段階を狙うのが、Depth Anything 3やD4RTのような研究です。

2025年に公表されたDepth Anything 3は、一枚または複数枚の画像から奥行きとカメラの位置・向きを推定し、視点の間で整合する3D情報を作ります。公式の小型版でも約8000万パラメータで、DepthARTの600万とは出力する情報と想定する計算量が違います。両者の数字だけを並べて性能順位は付けられません。[3][4]

動画では、机に置いた物も人も、カメラと一緒に動いて見えます。Google DeepMindが2026年1月に紹介したD4RTは、動画中のある画素が別の時刻・視点では3D空間のどこにあるかを問い合わせる方式です。一つの仕組みから奥行き、カメラの動き、点の追跡を取り出します。研究チームは対象課題で処理速度と復元精度の改善を示していますが、この発表だけでロボットが周囲を安全に移動できると実証されたわけではありません。[5][6]

![Depth Anything 3は複数のカメラ画像で棚の同じ角を対応付けて奥行きとカメラ位置を推定する。D4RTは動画の時刻が変わっても同じ点の3D位置を問い合わせ、奥行き、カメラ運動、点の追跡を扱う。二つは別々の研究。](https://www.chinouken.com/images/articles/spatial-ai-agents-depth-to-action/figure-views-time.png)

*Depth Anything 3は視点が違う写真を、D4RTは時間と視点が変わる動画を扱います。棚と物の絵は位置の対応付けを説明する模式例で、両者は別々の研究です。3Dの推定結果だけで実機の安全な移動は示せません。*

## 空間エージェントは測定結果を使って考える

位置関係の質問へ答えるには、3Dの数値を出すだけでは足りません。たとえば「流し台を基準に、別の写真に写る扉はどちら側か」なら、流し台と扉の領域を見つけ、複数の写真から位置を復元し、基準の向きを決めて、二点の差を計算します。途中で物の取り違えに気づけば、領域の選び方からやり直す必要があります。

2026年6月のSpatialClawは、このような空間問題を解くエージェントの研究です。画像を読むAIが、領域分割や3D復元の道具を呼び、計算用のPython環境へ結果を保存します。一回の計算で終えず、表示された領域や数値を見て次の計算を選ぶため、最初の見立てが違えば手順を変えられます。研究チームの公開例には、流し台と扉を別の写真から見つけ、3D位置を求めて方角を計算する過程が収められています。[7][8]

![SpatialClawの公開例をもとに、流し台と扉を別の写真から探し、領域分割、3D位置の復元、二点の差による方角の計算、中間結果の確認を経て回答する流れ。物の取り違えに気づいたときは領域分割へ戻る。](https://www.chinouken.com/images/articles/spatial-ai-agents-depth-to-action/figure-spatialclaw-loop.png)

*SpatialClawの公開例をもとにした計算の流れ。領域や数値を見直して道具を選び直せます。ここで示すのは写真から方角を答える手順で、ロボットの移動や物の操作ではありません。*

論文では、画像と言葉を扱う基盤モデルにGemma 4-31Bを使い、20種類の空間問題で平均正答率59.9％と報告しています。同じ基盤モデルを使った比較対象より11.2ポイント高い結果ですが、残る約4割の誤答も見逃せません。測っているのは画像や動画への質問に正しく答えた割合です。ロボットが扉まで歩き、触れずに回り込み、物を運べた割合とは区別する必要があります。[7]

## 次の状態を予測してから動く研究

エージェントが「腕を伸ばす」と決めても、じょうろが倒れるか、棚の扉にぶつかるかは行動後まで分かりません。世界モデルは、現在の映像と操作から次に見える状態を予測し、行動を選ぶ手掛かりを作る研究です。見た目が自然な映像でも、別角度から見ると物の位置が食い違うなら、ロボットの判断材料としては使いにくくなります。

2026年10月6日に公表されたDepthWorldは、ロボット操作の動画にカメラ間の位置合わせとメートル単位の奥行きを加え、次の映像と奥行きを一緒に予測します。著者は、同じ構造・学習データ・学習予算でカラー映像だけを予測する版と比較しました。外部カメラから見た次のカラー映像は、PSNRという画質指標で1.48デシベル高い結果です。PSNRは予測画像と実際の画像の画素の差を測り、値が高いほど差が小さいことを示します。奥行きも一緒に学ぶと、この条件では映像の予測も改善しました。[9]

ただし評価の中心は、学習から取り分けた256のロボット操作軌跡で次の映像を予測することです。これらは学習時と同じ機体・研究室からのデータで、別の機体や研究室への広がりは測っていません。論文は、予測を長く繰り返すと画質が崩れる限界も記しています。世界モデルの出力でロボットが自律作業を何件完了したかは、この結果からは分かりません。[9]

## 実機では計画と身体の制御がつながり始めた

現実のロボットへ目的を渡すときは、部屋を見て作業順を決める役割と、腕や足を動かす役割が必要です。Google DeepMindが2026年7月に発表したGemini Robotics 2では、上位の推論モデルが依頼を解釈して進み具合を見守り、視覚・言語・行動モデルが画像と指示を身体の動作へ変えます。端末内で動かす版も別に用意しています。[10][11]

公式実演には、ヒューマノイド型ロボットがじょうろを取り、歩いて棚の下段の緑の箱へ入れる場面があります。歩行と物の操作を一続きにした例として具体的です。一方、同じ発表の評価では、五本指の手で電球を締める課題の成功率は36％でした。実演された一件と、幅広い仕事を安定して任せられることの間にはまだ距離があります。高位の推論モデルは開発者が試せますが、行動モデルと端末内版の提供は早期アクセスの提携先向けです。[10][11]

ここで紹介したDepthART、Depth Anything 3、D4RT、SpatialClaw、DepthWorldが、そのままGemini Robotics 2の内部で組み合わされているわけではありません。それぞれ別の研究・製品です。一緒に読むと、ロボットに必要な仕事が「見える物の距離」「視点をまたぐ位置」「目的に沿った道具の選択」「行動後の予測」「身体の制御と確認」に分かれていることが見えてきます。

## 進歩を判断するときに見る場所

研究成果を比べる前に、その発表が何を入力し、何を正解として測ったかを確かめると、能力の広がりを読み違えずに済みます。

| 研究・発表 | 示したこと | その結果だけでは分からないこと |
| --- | --- | --- |
| DepthART | 一枚の画像から小型モデルで奥行きを推定 | 物を特定してロボットが作業を完了できるか |
| Depth Anything 3・D4RT | 視点や時間をまたぐ3Dの位置と動きの推定 | 実機が安全に行動を選び直せるか |
| SpatialClaw | 知覚の道具を組み合わせた空間質問への回答 | ロボットの運動が成功するか |
| DepthWorld | 奥行きを伴う行動後の映像予測 | 予測を使って長い作業を成功させられるか |
| Gemini Robotics 2 | 指示から歩行や物の操作へ進む実機例 | 幅広い環境と細かな作業での安定性 |

ここからは筆者の見立てです。DepthARTの意義は、3D認識のすべてを600万パラメータへ収めたことではなく、頻繁に更新する奥行きの推定を小さな機器で扱える道を広げた点にあります。別のモデルが物や視点をそろえ、エージェントが必要な計算を選び、行動の結果を見直す。この接続が進むほど、ロボットは初めての場所で役立つ仕事へ近づきます。

次に注目したいのは、奥行き画像やデモ映像の見栄えだけではありません。カメラを変え、物の配置を変え、人が近くを通る条件で、作業が最後まで終わる割合と失敗後の立て直し方です。小型化、3Dの整合性、推論、実機動作の成果を同じ試験へつなげたとき、空間エージェントの実力がよりはっきりします。

## 参照リンク

1. [Feng Xueほか: DepthART: Scaling Foundation Monocular Depth to Tiny Models](https://arxiv.org/abs/2607.17099)
2. [DepthART研究チーム: DepthART公開リポジトリ](https://github.com/xuefeng-cvr/DepthART)
3. [Haotong Linほか: Depth Anything 3: Recovering the Visual Space from Any Views](https://arxiv.org/abs/2511.10647)
4. [ByteDance Seed: Depth Anything 3公開リポジトリ](https://github.com/ByteDance-Seed/Depth-Anything-3)
5. [Guillaume Le Moingほか: Efficiently Reconstructing Dynamic Scenes One D4RT at a Time](https://arxiv.org/abs/2512.08924)
6. [Google DeepMind: D4RT: Teaching AI to see the world in four dimensions](https://deepmind.google/blog/d4rt-teaching-ai-to-see-the-world-in-four-dimensions/)
7. [Seokju Choほか: SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning](https://arxiv.org/abs/2606.13673)
8. [SpatialClaw研究チーム: SpatialClaw公式プロジェクト](https://spatialclaw.github.io/)
9. [Jai Bardhanほか: DepthWorld: 3D World Model for Robot Manipulation](https://arxiv.org/abs/2610.08780)
10. [Google DeepMind: Gemini Robotics 2 brings whole body intelligence to robots](https://deepmind.google/blog/gemini-robotics-2-brings-whole-body-intelligence-to-robots/)
11. [Google DeepMind: Gemini Robotics On-Device 2 model card](https://deepmind.google/models/model-cards/gemini-robotics-on-device-2/)

2026年10月13日時点の公式資料を確認しています。仕様は更新される可能性があります。

---

© 知能圏 https://www.chinouken.com/articles/spatial-ai-agents-depth-to-action