コンテンツにスキップ

ブラウザでロボットを確かめる

urdf2vla view は、ロボット・把持点・台・カメラを Web ブラウザの 3D 画面に表示します。Isaac Sim や Omniverse を 開かずに設定を確かめ、urdf2vla の質問に答えられます。

URDF と urdf2vla の設定だけを読むので、inspect_robot の直後から使え、コンテナも要りません。

uv pip install -e '.[view]'                 # 初回だけ
urdf2vla view --project projects/myrobot
[urdf2vla] view: http://localhost:8080 (別の PC からは http://<このマシンのアドレス>:8080) Ctrl-C で終了

表示されたアドレスをブラウザで開きます。同じネットワークの別の PC からは 2 つ目のアドレスを使います。止めるには端末で Ctrl+C を押します。8080 番が使われていれば次の空いているポートで開き、そのポートを表示します(--port で指定も可)。

Franka Panda・台・3 台のカメラの視野を表示した urdf2vla view
チュートリアルの Franka: 把持点(TCP)、物体の候補と箱のある台、launch_sim で撮った 画像付きの手先・左・右のカメラ。

確かめること

3D 画面のもの 分かること
TCP(把持点) の座標軸と青・橙の矢印 グリッパが掴む位置。青 = 接近方向(初期姿勢では台の方=下を向くはず)、橙 = 指が開く向き
正面 (+x) の赤い矢印 ロボットの正面。台とカメラはこの前に置かれます
台・名前付きの箱・オレンジの範囲・緑の箱 場面: 物体の候補(外接箱と名前)、エピソードで物体を置く範囲、箱
青い四角錐 カメラの位置と視野。launch_sim の後は、そのカメラが撮った画像が中に表示されます。保存していない変更があるカメラはオレンジ
オレンジの形(任意) 衝突形状。物理エンジンが接触に実際に使う形です

スライダで関節を動かすと、TCP・手先カメラ・グリッパがついてきます。ボタンで設定した初期姿勢に戻したり、グリッパを 開閉したりできます。

urdf2vla view で関節を動かし、グリッパを開閉する様子

質問に答える

工程が needs_input を返すと、質問 の欄に、まだ答えていない質問と urdf2vla が見つけた候補が並びます。答えを選んで 回答を保存 を押すと、urdf2vla answer と同じように answers.yaml に書き込みます。その後、next の工程を実行します。

  • 手先の link の候補(arms.<i>.ee_link。双腕では腕ごとに質問が出ます)を選ぶと、その link が 3D で強調されます。
  • urdf2vla が関節の値を提案しているとき(IK で求めた初期姿勢など)は、提案の姿勢を見る でロボットをその姿勢にして、 答える前に確かめられます。
初期姿勢の質問と、提案の姿勢を表示したところ

カメラを調整する

カメラ の欄では、カメラの位置と向きを見ながら決め、configure_camera が使う形で保存できます。いまプロジェクトで使っている カメラから始まります(ここで前に保存したもの、なければ project.yaml の cameras:、なければ既定: URDF のカメラか DROID の配置)。

urdf2vla view のカメラの欄。OpenArm の頭のカメラを選び、プレビューを表示したところ
OpenArm: カメラは URDF にあるもの(両手と頭)。頭のカメラを選び、ハンドルとプレビューを表示したところ。
  1. カメラを選びます。カメラにハンドルが付くので、矢印をドラッグして動かし、輪をドラッグして回します。保存するまで、 そのカメラの錐はオレンジになります。
  2. 取り付け先 で、何に付けるかを変えます。link を選ぶとカメラはその link と一緒に動きます(手先カメラなら手)。 world を選ぶと場面に固定します。画面上のカメラの位置はそのままです。URDF のカメラの frame が先頭に並びます。
  3. 水平の視野角と画像の大きさを決めます。
  4. 見え方を確かめます。
    • このカメラから見る で視点をカメラに移し、元の視点に戻る で戻ります。
    • プレビュー画像を作る はカメラからの小さな画像(ブラウザが描く形だけの画像)を描きます。筐体や手の中にあるカメラでは、 シミュレータと同じく clip_near より近くのロボットのメッシュを隠して描きます。画像は build/view/preview_<カメラ名>.png にも保存するので、エージェントも確かめられます。
  5. カメラを保存 を押します。カメラは answers.yaml の cameras に書かれ、project.yaml より優先します。続けて configure_camera と launch_sim をやり直すと、launch_sim が実際の画像を撮り、この画面の錐に表示されます。

触っていないカメラは元の指定のまま(preset: wrist、preset: urdf など)保存するので、台の位置などを変えたときも追従します。 動かしたカメラは、取り付け先の link から見た位置と向きで保存します。保存した YAML は欄に表示されるので、project.yaml に 写すこともできます。カメラを追加 は台の上にカメラを足し、保存したカメラを消す は保存したカメラを消して project.yaml(なければ既定)に戻します。

SimReady のグリッパは暗い箱で表示されます

グリッパを SimReady のアセットに付け替えた場合、この画面には URDF の腕と、グリッパの付く位置に箱を表示します (アセット自体は Isaac Sim の中にしかありません)。本物のグリッパを見るには launch_sim --livestream を使います。