ブラウザでロボットを確かめる¶
urdf2vla view は、ロボット・把持点・台・カメラを Web ブラウザの 3D 画面に表示します。Isaac Sim や Omniverse を
開かずに設定を確かめ、urdf2vla の質問に答えられます。
URDF と urdf2vla の設定だけを読むので、inspect_robot の直後から使え、コンテナも要りません。
表示されたアドレスをブラウザで開きます。同じネットワークの別の PC からは 2 つ目のアドレスを使います。止めるには端末で
Ctrl+C を押します。8080 番が使われていれば次の空いているポートで開き、そのポートを表示します(--port で指定も可)。
launch_sim で撮った
画像付きの手先・左・右のカメラ。確かめること¶
| 3D 画面のもの | 分かること |
|---|---|
| TCP(把持点) の座標軸と青・橙の矢印 | グリッパが掴む位置。青 = 接近方向(初期姿勢では台の方=下を向くはず)、橙 = 指が開く向き |
| 正面 (+x) の赤い矢印 | ロボットの正面。台とカメラはこの前に置かれます |
| 台・名前付きの箱・オレンジの範囲・緑の箱 | 場面: 物体の候補(外接箱と名前)、エピソードで物体を置く範囲、箱 |
| 青い四角錐 | カメラの位置と視野。launch_sim の後は、そのカメラが撮った画像が中に表示されます。保存していない変更があるカメラはオレンジ |
| オレンジの形(任意) | 衝突形状。物理エンジンが接触に実際に使う形です |
スライダで関節を動かすと、TCP・手先カメラ・グリッパがついてきます。ボタンで設定した初期姿勢に戻したり、グリッパを 開閉したりできます。
質問に答える¶
工程が needs_input を返すと、質問 の欄に、まだ答えていない質問と urdf2vla が見つけた候補が並びます。答えを選んで
回答を保存 を押すと、urdf2vla answer と同じように answers.yaml に書き込みます。その後、next の工程を実行します。
- 手先の link の候補(
arms.<i>.ee_link。双腕では腕ごとに質問が出ます)を選ぶと、その link が 3D で強調されます。 - urdf2vla が関節の値を提案しているとき(IK で求めた初期姿勢など)は、提案の姿勢を見る でロボットをその姿勢にして、 答える前に確かめられます。
カメラを調整する¶
カメラ の欄では、カメラの位置と向きを見ながら決め、configure_camera が使う形で保存できます。いまプロジェクトで使っている
カメラから始まります(ここで前に保存したもの、なければ project.yaml の cameras:、なければ既定: URDF のカメラか DROID の配置)。
- カメラを選びます。カメラにハンドルが付くので、矢印をドラッグして動かし、輪をドラッグして回します。保存するまで、 そのカメラの錐はオレンジになります。
- 取り付け先 で、何に付けるかを変えます。link を選ぶとカメラはその link と一緒に動きます(手先カメラなら手)。 world を選ぶと場面に固定します。画面上のカメラの位置はそのままです。URDF のカメラの frame が先頭に並びます。
- 水平の視野角と画像の大きさを決めます。
- 見え方を確かめます。
- このカメラから見る で視点をカメラに移し、元の視点に戻る で戻ります。
- プレビュー画像を作る はカメラからの小さな画像(ブラウザが描く形だけの画像)を描きます。筐体や手の中にあるカメラでは、
シミュレータと同じく
clip_nearより近くのロボットのメッシュを隠して描きます。画像はbuild/view/preview_<カメラ名>.pngにも保存するので、エージェントも確かめられます。
- カメラを保存 を押します。カメラは
answers.yamlのcamerasに書かれ、project.yamlより優先します。続けてconfigure_cameraとlaunch_simをやり直すと、launch_simが実際の画像を撮り、この画面の錐に表示されます。
触っていないカメラは元の指定のまま(preset: wrist、preset: urdf など)保存するので、台の位置などを変えたときも追従します。
動かしたカメラは、取り付け先の link から見た位置と向きで保存します。保存した YAML は欄に表示されるので、project.yaml に
写すこともできます。カメラを追加 は台の上にカメラを足し、保存したカメラを消す は保存したカメラを消して
project.yaml(なければ既定)に戻します。
SimReady のグリッパは暗い箱で表示されます
グリッパを SimReady のアセットに付け替えた場合、この画面には URDF の腕と、グリッパの付く位置に箱を表示します
(アセット自体は Isaac Sim の中にしかありません)。本物のグリッパを見るには launch_sim --livestream を使います。