urdf2vla¶
ロボットの URDF から、NVIDIA Isaac Sim で学習・評価した VLA(Vision-Language-Action)モデルまで。
urdf2vla で学習した GR00T N1.7 のモデルが、Isaac Sim で FANUC CRX-3iA を動かすところ(評価で 20/20)。 各フレームはモデルが見る画像: 手先カメラと左右のカメラ。 学習済みモデル · Hugging Face
誰のためのツールか¶
URDF のある腕を持っていて、それで VLA 開発を始めたいロボット開発者のためのツールです。Isaac Sim や Omniverse、VLA の 学習に先に詳しくならなくても、シミュレーションの環境を作り、デモを記録し、VLA を fine-tune して、どれだけうまく動くかを 測れます。
できること¶
- URDF を、検査済みの Pick & Place の環境として Isaac Sim に取り込む。 台・物体・箱・カメラは腕の届く範囲から 配置します。urdf2vla が聞くのは URDF から分からないこと(どの link が手先か、よい初期姿勢)だけで、ブラウザで ロボットを見ながら答えられます。
- グリッパの取り付け・付け替えを 1 行で。NVIDIA のアセットライブラリのグリッパを使います。
- デモを記録する。 scripted の制御、キーボード、または少ないデモを Isaac Lab Mimic で多数に増やします。
- NVIDIA Isaac GR00T N1.7 を fine-tune し、シミュレーションでモデルを評価する。 成功率、失敗ごとの理由、動画が 得られます。
- すべてをクラウドの GPU(NVIDIA Brev)で動かすことも、AI エージェント(Claude Code、Codex)に工程を任せてロボットに ついての質問にだけ答えることもできます。
どの工程も 1 つのコマンドで、自分の結果を検査します。次へ進むか、質問するか、何を変えればよいかを伝えます。
flowchart LR
U[ロボットの URDF] --> S[Isaac Sim の環境<br/>+ 物理の検査] --> R[デモ] --> T[GR00T N1.7<br/>fine-tune] --> E[シミュレーション<br/>での評価]
結果¶
| ロボット | モデル | 学習データ | シミュレーションでの成功 |
|---|---|---|---|
| FANUC CRX-3iA + Robotiq 2F-85 | umegan/urdf2vla-crx3ia-gr00t-n1.7 |
データセット | 20/20 |
| Franka Panda | umegan/urdf2vla-franka-gr00t-n1.7 |
データセット | 19/20 |
どちらも scripted のデモ 50 本から、NVIDIA L40S 1 台で約 2 時間 40 分で学習しました。動画と詳細: 学習済みモデル。
今後の発展¶
- 実機: 学習したモデルをロボットのコンピュータ(Jetson Thor、RTX GPU)で動かし、シミュレーションと実際のカメラ・ 照明・物体との差を埋める。
- シーンとタスクを増やす: NVIDIA の SimReady アセットのシーンと物体、複数の物体を同時に、Pick & Place 以外のタスク。
- 2 本の腕の協調、グリッパの追加、USD だけで記述されたロボット。
- データを増やし、質を上げる: 人が記録したデモを Mimic で増やす。
いまの範囲¶
2 本指のグリッパの付いた単腕・双腕、タスクは 1 つ(物体を箱に入れる)、シミュレーションのみ。学習には 44 GB 以上の GPU が必要です。それ以外は 16 GB の RTX GPU で動きます。
はじめに読むもの¶
- インストール — 必要なものと、コンテナの作り方。
- AI エージェントから使う — Claude Code や Codex に工程を任せる。
- チュートリアル — 同梱の Franka Panda で全工程を一度通す。
- 自分のロボットを使う — FANUC CRX-3iA を例に、URDF から始める。