リファレンス
コマンド
| コマンド |
すること |
urdf2vla doctor [--offline] |
マシンを検査する: GPU ドライバ、Docker と NVIDIA Container Toolkit、image とコンテナ、ディスク、NVIDIA のアセットサーバ。何も変更せず、問題ごとに直し方を示す |
urdf2vla init DIR --urdf URDF |
URDF のプロジェクトを作る。--from examples/<robot>/project.yaml で例から作る |
urdf2vla <工程> --project DIR [オプション] |
工程を 1 つ実行する(下記)。urdf2vla <工程> --help でオプション一覧 |
urdf2vla status --project DIR |
各工程の最後の結果と、次に実行するもの |
urdf2vla answer --project DIR key=value … |
質問への回答を answers.yaml に記録する。値は YAML: 'robot.default_pose={j1: 0.0, j2: 0.3}' |
urdf2vla show --project DIR <名前> |
生成されたファイルを表示する(例: robot_metadata, robot_config) |
urdf2vla diagnose --project DIR |
最後に失敗した工程のログを既知の問題と照らし合わせる |
urdf2vla view --project DIR [--port 8080] |
ブラウザの画面。.[view] が必要 |
urdf2vla teleop-keys [--port 50555] |
端末のキー入力を collect_dataset --device socket に送る |
urdf2vla skills [--json] |
工程の入出力と前提(--json で機械可読) |
工程(Skill)
| 工程 |
すること |
inspect_robot |
URDF を読む: link と関節、腕、グリッパ(mimic を含む)、手先の link の候補、メッシュ。曖昧なことは質問する |
configure_robot |
URDF と回答からロボットの設定を作り、正規化した URDF を書く(package:// を解決、空の root link を除去) |
configure_task |
物体と容器を選び(task.objects, task.container)、腕の届く範囲と肩の高さから台・物体を置く範囲・箱を配置する |
configure_camera |
カメラを置く: 既定は DROID の配置(wrist, left, right)。ほかに front / side のプリセットか明示指定 |
import_robot |
URDF を USD に変換し(設定があれば SimReady のグリッパを取り付け)、ロボットの検査をする。手先が下を向いていなければ IK で初期姿勢を提案する |
launch_sim |
Isaac Lab Arena で Pick & Place の環境を組み立て、カメラの画像を保存し、カメラ・場面・試しの把持を検査する。--livestream で WebRTC のクライアント用に動かし続ける |
configure_vla_interface |
VLA の入力(カメラ画像、腕の関節 + グリッパの値)と出力(関節の目標 + グリッパの指令)を決める |
setup_teleoperation |
逆運動学による手先の操作を設定し、指令どおりに動くかを検査する |
collect_dataset |
成功したデモを記録し(--device scripted / keyboard / socket)、HDF5 に保存して検査する |
generate_mimic |
任意(collect_dataset の代わり): スクリプトで元のデモを少し記録し、Isaac Lab Mimic でそこから --trials 回の新しいエピソードを生成して、成功したものを画像付きで記録する(物体 1 つ + 容器) |
convert_dataset |
記録を GR00T N1.7 の modality のファイル付きの LeRobot v2.1 に変換し、GR00T のローダで検査する |
train_vla |
GR00T N1.7 の fine-tune ジョブを書いて検査する。GPU が 44 GB 以上なら学習し、そうでなければ一式にまとめる |
evaluate_vla |
GR00T の推論サーバ(--model)かデータセットの再生(--replay)でエピソードを実行し、成功率を出す |
各工程の実行場所、前提の工程、読むもの・書くもの、オプション
(host = 手元のマシン、sim = シミュレーション用コンテナ、gr00t = GR00T のコンテナ):
| Skill |
Runs in |
Needs |
Reads |
Writes |
Options |
inspect_robot |
host |
— |
project.yaml: robot.urdf |
generated/robot_metadata.yaml |
— |
configure_robot |
host |
inspect_robot |
generated/robot_metadata.yaml
answers.yaml
project.yaml: robot.* |
generated/robot_config.yaml
build/robot.urdf |
— |
configure_task |
host |
configure_robot |
generated/robot_config.yaml
project.yaml: task.* |
generated/task.yaml |
— |
configure_camera |
host |
configure_task |
generated/robot_config.yaml
generated/task.yaml
project.yaml: cameras
answers.yaml: cameras |
generated/cameras.yaml |
--preset |
import_robot |
sim |
configure_robot |
generated/robot_config.yaml
build/robot.urdf |
build/usd/robot.usd
build/import_report.yaml |
--force
--timeout |
launch_sim |
sim |
import_robot
configure_camera |
generated/robot_config.yaml
generated/cameras.yaml
generated/task.yaml
build/usd/robot.usd |
snapshots/*.png
build/launch_report.yaml |
--steps
--livestream
--timeout |
configure_vla_interface |
host |
launch_sim |
generated/robot_config.yaml
generated/cameras.yaml
generated/task.yaml |
generated/vla_interface.yaml |
--vla-type |
setup_teleoperation |
sim |
configure_vla_interface |
generated/robot_config.yaml
generated/vla_interface.yaml |
generated/teleop.yaml
build/teleop_report.yaml |
--timeout |
collect_dataset |
sim |
setup_teleoperation |
generated/teleop.yaml
generated/vla_interface.yaml |
datasets/<name>.hdf5
build/collect_report.yaml |
--device
--source
--num-demos
--max-attempts
--dataset
--seed
--livestream
--timeout |
convert_dataset |
gr00t |
collect_dataset |
datasets/<name>.hdf5 |
datasets/<name>_gr00t/ or datasets/<name>_droid_gr00t/
build/convert_report.yaml or build/convert_droid_report.yaml |
--dataset
--force
--layout
--exterior
--timeout |
train_vla |
gr00t |
convert_dataset |
datasets/<name>_gr00t/ |
training/<job>/train.sh
training/<job>.tar.gz or training/<job>/checkpoints/ |
--dataset
--job
--max-steps
--batch-size
--save-steps
--save-total-limit
--base-model
--check-only
--force-local
--timeout |
evaluate_vla |
host |
setup_teleoperation |
--model <checkpoint> or --replay datasets/<name>_gr00t/
generated/vla_interface.yaml |
build/eval_report.yaml
snapshots/eval_*.png
build/eval_videos/*.mp4 (--video) |
--model
--replay
--dataset
--episodes
--execution-horizon
--port
--seed
--timeout
--droid
--exterior
--video |
generate_mimic |
host |
setup_teleoperation |
generated/teleop.yaml
generated/vla_interface.yaml |
datasets/<name>_mimic_src.hdf5
datasets/<name>_mimic_gen.hdf5
datasets/<name>.hdf5 |
--source-demos
--source-device
--trials
--dataset
--seed
--timeout |
各工程の結果
各工程は JSON を 1 つ出力し、logs/latest_<工程>.json に保存します。
| フィールド |
意味 |
status |
ok / needs_input / error(終了コード 0 / 2 / 1) |
next |
次に実行する工程 |
questions |
needs_input のとき: key, prompt, candidates, suggestion, reason |
inferred |
URDF から導いた値(確認したほうがよいもの) |
warnings |
工程は止めなかったが知っておくべきこと |
errors |
工程が失敗した理由 |
outputs |
書いたファイル(プロジェクトからの相対パス) |
data |
工程の主な結果(checks を含む) |
log |
ログのファイル |
project.yaml
name: myrobot
robot:
urdf: /path/to/robot.urdf # 必須
package_paths: [../my_ws/src] # package:// を探す追加のフォルダ
end_effector: tool0 # 手先の link(なければ、曖昧なときに質問)
control_joints: [joint1, joint2] # 腕の関節(なければ自動検出)
gripper_joints: [finger_l, finger_r] # 指の関節(なければ自動検出)
gripper_open_position: upper # 指が開くのは関節の lower / upper どちらの限界か
default_pose: {joint1: 0.0} # 初期姿勢 [rad または m]
effort_limits: {"joint[1-6]": 50.0} # N·m。関節名の正規表現 → 値(URDF の値より優先)
base_pose: {pos: [0, 0, 0], rot_xyzw: [0, 0, 0, 1]}
gripper: {simready: robotiq_2f_85} # Isaac Sim のアセットライブラリのグリッパを付ける(robotiq_2f_85 / ufactory_xarm。グリッパのない腕では mount_link で取付先を選べる。省略可)
task:
objects: [apple, lime, pear, color_cube] # エピソードごとに 1 つ(物体の一覧は「自分のロボットを使う」)
container: klt_bin # または plastic_tray、"disc"(平らな緑の置き場所)
cameras: # プリセット: wrist, left, right, front, side。または明示指定
- preset: wrist
- preset: left
- preset: right
overrides: # generated/ のファイルと同じ構造
robot: {} # generated/robot_config.yaml
task: {} # generated/task.yaml
cameras: {} # generated/cameras.yaml
teleop: {} # generated/teleop.yaml
よく使う上書き:
| キー |
既定 |
効果 |
overrides.robot.asset.solver_position_iterations |
32(SimReady のグリッパでは 64) |
接触の精度。指が物体にめり込むときに上げる |
overrides.task.instruction |
"put the {object} in the {target}" |
指示文。{object} と {target} はエピソードの物体と容器の名前になる |
overrides.task.spawn_x / .spawn_y |
腕の届く範囲から |
エピソードで物体を置く範囲 |
overrides.task.target.pos |
物体を置く範囲の横 |
箱の位置 |
overrides.task.success.container_margin |
0.01 m |
物体が箱の縁からどれだけ内側にあれば成功か |
overrides.task.language_instruction |
"pick up the red cube and place it on the green target" |
VLA に渡すタスクの文 |
overrides.task.episode_length_s |
30 秒 |
エピソードの時間切れ |
overrides.task.render_fix |
false |
カメラが止まるとき、step ごとに描画を 1 回増やす |
overrides.teleop.pos_step / .rot_step |
0.008 m / 0.04 rad |
キー操作の 1 制御 step あたりの移動量 |
overrides.teleop.grasp_height_offset |
0 m |
スクリプトで掴む高さ(物体の中心から) |
プロジェクトのフォルダ
projects/<名前>/
project.yaml あなたの設定 answers.yaml あなたの回答
generated/ robot_metadata, robot_config, task, cameras, vla_interface, teleop(編集しない)
build/ robot.urdf, usd/, meshes/, *_report.yaml, eval_videos/
snapshots/ launch_sim・collect_dataset・evaluate_vla のカメラ画像
datasets/ <名前>.hdf5 の記録、<名前>_gr00t/ の変換済みデータ
training/ <job>/train.sh, <job>.tar.gz, <job>/checkpoints/
logs/ 実行ごとのログと JSON の結果、latest_<工程>.json
state.json 各工程の最後の状態
runtime.yaml
工程をどこで実行するか。既定値は docker/build.sh と docker/run.sh に合わせてあります。
| キー |
既定 |
意味 |
mode |
docker |
docker、または今の Python 環境(Isaac Lab を入れた環境)で動かす local |
container / image |
urdf2vla-sim / urdf2vla/isaaclab_arena:b9e37c5 |
シミュレーション用コンテナ |
python |
…/isaaclab.sh -p |
そのコンテナでの Python の起動のしかた |
mounts |
リポジトリを /workspace/urdf2vla に |
コンテナから見えるホストのフォルダ |
env |
— |
追加の環境変数 |
gr00t.container / gr00t.image |
urdf2vla-gr00t / urdf2vla/gr00t:23ace64 |
GR00T のコンテナ |
検査
| 工程 |
検査 |
import_robot |
articulation_root, all_joints_driven, mimic_constraints_off, joint_name_match, bodies_exist, no_nan, default_pose_tracking, within_limits, gripper_motion:<gripper>, joint_limits_hold:<gripper> |
launch_sim |
camera_alive:<camera>, camera_not_black:<camera>, camera_mount:<camera>, no_nan、物体ごとに object_on_table:<object>, asset_size:<object>, grasp_hold:<gripper>:<object>, grasp_opening:<gripper>:<object>(箱の形の物体)、asset_size:<container> |
setup_teleoperation |
ik_direction:<arm>:+x, ik_direction:<arm>:+z, ik_direction:<arm>:-y, action_label:<arm> |
collect_dataset |
camera_frames_updated, first_frame_fresh, label_replay |
convert_dataset |
gr00t_loader, video_matches:<camera> |
train_vla |
finetune_args_valid |
evaluate_vla |
camera_frames_updated |
失敗の意味と、何を変えればよいか: トラブルシューティング