Topic Activity
Started by
机器人老唐
Topic Status
Waiting for first reply
Participants
1
Engagement
0
最近在把手头一套双臂平台重构做 Imitation Learning 数据采集,跑 ACT 和 Diffusion Policy。真机遥操和数据 Pipeline 跑通不难,但想把数据质量做扎实,里面工程坑确实不少,抛两个我们踩到的点,交流下大家的解法。
USB 总线带宽与相机掉帧 很多朋友做双臂标配是「头部全局 + 双腕部相机」,3 路 RealSense (比如 D435i + 双 D405) 跑 720p 30Hz,全走同一个 USB 主控极大概率隐蔽掉帧。我们现在的规矩是:双腕相机必须分走独立的 PCIe USB 扩展卡,且关掉不必要的深度流,只拉 RGB,腕部若非必要甚至降到 480p。
跨模态数据的对齐与存储瓶颈
关节状态 (200Hz - 500Hz)、手爪状态、多路相机 (30Hz) 加上触觉/力传感器,很多团队直接一个 ros2 bag record 完事,后期处理时发现软时间戳漂移导致动作和图像错位,训练出来的策略抖动明显。
我们目前的折中方案是:以相机曝光时间戳作为主对齐基准,底层关节状态开环高频打进环形缓冲区 (Ring Buffer),采集节点拉到图像帧的瞬间做线性插值,直接按步写入 HDF5 / Zarr,绕过 Rosbag 的序列化开销。
想请教下社区里在推进真机落地的朋友:
欢迎聊聊你们当前的 Hardware Setup 和避坑经验。
All Replies (0)