过去的一年,具身智能领域的数据获取策略经历了快速转变。遥控数据的获取成本高、速度慢且难以广泛应用,越来越多的团队开始关注人类视角的视频数据。比如,英伟达的EgoScale团队通过20854小时的第一人称视频训练机器人策略,表现出良好的预训练效果。此外,HumanScale等研究认为,相同数据量下,第一人称视频优于真实操作数据。 然而,当涉及到自由度极高的灵巧手的操作时,挑战便增加了,因为视频虽然展示了手的运动,却无法提供施力的具体信息。对于诸如拧瓶盖、插接头等需要精细操作的任务,成功与否往往在于接触后的微小位移。 Sharpa这家公司专注于灵巧操作,提出了三条核心探索方向:首先,以机器人为中心的数据采集转向以人为中心;其次,解耦“运动”与“交互”,将接触环节交由高频、触觉反馈的底层控制来处理;最后,通过触觉数据学习跨机器人平台的通用操作表现。根据这些策略,Sharpa的硬件平台为多个前沿研究提供了支持。 谈球吧官网 例如,谷歌最近发布的Gemini 4 Argon机器人展示了与Sharpa合作完成的丢沙包实验。同时,Sharpa也与香港大学、加州大学伯克利分校、清华大学和上海交通大学等机构进行合作,共同推动灵巧操作领域的数据采集和模型学习。 以两个灵巧手削苹果为例,这一复杂任务需要一只手固定苹果并旋转,另一只手则操作削皮器,二者的动作必须协调。Sharpa与上海交通大学合作的MoDE-VLA研究发现,主流VLA模型在这一任务中的成功率仅为0%,且削皮完成度仅为8%。研究指出,虽然VLA模型在简单的抓取放置任务上表现良好,但其在执行需要高接触丰富性和双手协调的复杂任务时显得力不从心。 要理解这一现象,必须明确灵巧手与夹爪之间的本质区别。传统的夹爪在处理任务时只需将目标移动至正确位置并闭合,而灵巧手则需要调用多种底层技能,例如抓紧、拉动和拧动等,这使得操作变得更为复杂。灵巧操作不仅需要精准的动作,还需实时考虑力量、接触状态及物体在手中的滑动。 谈球吧官网 从硬件角度来看,具有高自由度和触觉的灵巧手技术日趋成熟。但当前最大的瓶颈仍是获取灵巧操作相关数据,尤其是接触信息。这类数据来源主要有两种:遥操作系统,通过视觉或外骨骼设备远程控制机器人并记录动作,尽管这些系统在沉浸感和易用性上已有显著进步,但难以真实反映机器人与环境的接触情况,这也是当前技术面临的主要挑战。