机器人看视频学操作：伯克利首次打通互联网视频到灵巧手真机部署链路
从单目RGB视频中提取人类操作，再转化为灵巧手可执行的轨迹——这是Do as I Do的核心突破。它打通了从网络视频到机器人数据的关键链路，解决了类人灵巧操作的数据转化难题。
人类掌握灵巧操作技能，通常起始于视觉观察。模仿打蛋、倒水、钉钉子等动作，可以通过观看他人示范逐渐学会。然而，机器人的学习路径截然不同，主要依赖成本高昂的遥操作、大规模仿真执行，或在精心布置的场景中采集真机数据。
实际上，可供机器人利用的视觉数据早已广泛存在。YouTube、第一视角数据集以及生成式视频中，包含了海量人手与物体交互的素材。真正的瓶颈并非数据缺失，而是数据转换的挑战：如何将含有噪声的单目RGB视频，转化为多指灵巧手能够精准执行的动作轨迹。
UC Berkeley团队提出的端到端流程正是为解决这一难题而设计。研究团队成功构建了首条完整链路，能够从网络视频中生成真实灵巧手的可执行轨迹。该链路首先从真实场景的单目RGB视频中重建4D手-物交互过程，随后将这些交互轨迹重定向至拥有22个自由度的Sharpa Wave灵巧手上。
论文链接：https://arxiv.org/abs/2606.19333
项目链接：https://do-as-i-do.com/
整条路径在20类操作动作中，生成了500条经过验证的轨迹。这些轨迹在双UR3e机械臂与双Sharpa Wave平台上，以50Hz频率成功部署了10个真实任务。
问题：「看见」≠「会做」
要将灵巧机器人的数据规模化，必须面对三个结构性难题：
单目RGB视频中的手-物交互难以稳定重建
真实场景视频常伴随运动模糊、遮挡和深度歧义等问题，物体种类也不固定。FoundationPose这类跟踪方法，在轻微模糊下就可能丢失位姿锁定。而一些联合重建方法更依赖实验室环境，或只能处理预先设定的物体类别。缺乏稳定的4D手-物重建，人类视频便难以应用于机器人学习。
带噪声的参考轨迹会使动作重定向失效
以往的动力学感知动作重定向方法，例如SPIDER或基于强化学习的跟踪方法，通常假设输入的是干净的MoCap真值数据。但从网络视频中重建的参考轨迹往往包含噪声，存在时间不连续、接触关系错位，甚至物理上无法成立的初始状态。这些问题会直接影响后续优化。论文实验显示，直接使用基于采样的优化方法，在这类带噪声参考轨迹上的失败率可达75%。
遥操作本身难以规模化
遥操作能提供真实机器人数据，但成本高昂。它依赖专业操作人员、专用设备，并需围绕特定任务逐一采集。仅靠遥操作，很难覆盖一小时人类做饭视频中的丰富操作，更不用说整个互联网的海量人类视频。因此，Do as I Do试图回答：仅凭单目RGB视频，不预设抓取先验，也不限定刚性物体类别——机器人能否从“看见”走向“做到”？
解决方案
Do as I Do的流程可划分为两个阶段：
阶段一：用引导式扩散稳定跟踪物体
SAM 3D能够为单帧图像生成物体网格。然而，若每帧独立处理，生成的网格容易漂移，难以保持时间连续性。因此，Do as I Do先选定一个锚定帧，并在此帧中固定物体形状。在后续帧的流匹配去噪过程中，系统让当前帧的位姿采样结果向上一帧的位姿靠拢，从而在保持物体形状一致的同时获得更连续的位姿轨迹。系统还根据2D点跟踪估计出的物体旋转速度，自适应调整位姿，避免跟踪过于僵硬并减少错误翻转。在150个真实场景视频的人工对比评估中，评估者在67%的样本中认为Do as I Do的跟踪结果优于FoundationPose。多个样本中，多位评估者给出了一致判断。
阶段二：面向带噪声参考轨迹的稳健动作重定向
Do as I Do在SPIDER的采样/MPPI优化框架基础上，加入三项设计，以处理从网络视频中重建出的噪声参考轨迹：
综合这些改进后，Do as I Do在带噪声的真实场景参考轨迹上，将动作重定向成功率从25%提升至71%。
实验结果
重建能力基准测试（SOTA）
动作重定向基准测试
500条已验证轨迹的数据来源
该方法最终覆盖20类操作动作。这些动作并非简单的拿取或放置，而是更贴近人类日常生活的复杂操作，包括放置、拿取、擦洗、涂抹、挤压、熨烫、刷涂、除尘、挖掘、擦除、倾倒、书写、搅打、搅拌、戳刺、压实、钻孔、锤击、切割和刷酱汁。
实机部署
这些轨迹并未停留在仿真阶段。研究团队从中选取10项代表性动作，部署到双UR3e机械臂与双Sharpa Wave灵巧手平台上，以50Hz控制频率完成了实机执行。部署动作覆盖不同物体形状和多种抓握方式，包括书写式三指抓握、力量抓握、掌侧抓握和平行伸展抓握。
Sharpa Wave拥有22个自由度，尺度接近人手，因此更适合作为人类手部动作迁移的目标本体。搅打、搅拌、锤击等动作需要双手配合完成，这些很难依靠传统平行夹爪实现。Wave超过4Hz的手势切换频率和50N指尖力，足以支撑这些动作的力度和速度要求。
从重建、仿真（MuJoCo Warp，200Hz）到真实部署，研究团队始终将Sharpa Wave作为动作重定向的目标手型，把人类视频中的操作轨迹迁移至这一本体。EgoScale同样将人类手部关键点重定向到该手型，CAIP则在Dexmate Vega与双Wave平台上进行评估验证。由于目标手型更接近人手，系统在从人类动作迁移到机器人执行时，形态差异更小，跨越难度更低。
筛选手册：为什么95%网络视频还不能直接用
对于希望规模化利用人类视频数据的团队，包括EgoScale这类研究方向，Do as I Do提供了一个实用提醒：视频并非越多越好，能否筛选出可用数据同样关键。研究团队分析了100DOH数据集中的2000个10秒视频片段（已经过手-物交互筛选）：
结果直接明了：若不先对原始视频进行预处理，直接投入机器人学习，真正可用的数据可能仅剩约二十分之一。因此，Do as I Do总结出一套数据筛选要点：检查手和物体是否始终在画面内，确认动作是否跨越镜头切换，排除相机运动过大的片段，并识别SAM 3D可能失败的情况。对任何希望打通“人类视频到机器人执行”流程的团队而言，这套筛选流程将成为不可或缺的基础环节。
结论：人类视频正在变成机器人数据
Do as I Do将人类日常视频转化为机器人可执行的动作轨迹，完成了从视觉观察到物理执行的关键闭环。尽管筛选比例仅为二十分之一，但它为规模化利用人类视频数据提供了可行的框架。