Hugging Face在2026年11月5日发布LeRobot 0.7,重点把语言真正放进机器人执行闭环:运行中可以切换子任务、询问机器人看到了什么,或给出目标让策略自动拆解。同时新增流式数据训练、远程推理、统一仿真和多种世界动作模型。
先从仿真而不是硬件开始
安装后先使用统一环境运行标准任务,确认动作空间、相机输入和成功判定。不要一开始就连接真实机械臂。仿真中应测试正常指令、模糊指令、矛盾指令和急停,只有策略能稳定停止和恢复才进入硬件阶段。
语言交互如何工作
交互模式保持机器人连接、策略权重和处理器常驻。操作者可以下发具体子任务、询问视觉状态或让系统围绕目标自主规划。若策略本身不生成文本,可连接兼容API的视觉语言模型作为规划器。高层模型负责拆解“整理桌面”,底层VLA负责执行抓取和移动。
数据不必全部下载
LeRobot 0.7支持从Hub、存储桶或LanceDB按需读取视频字节范围,适合超大机器人数据集。训练前仍需检查授权、场景分布、相机和动作维度,不能因为可以流式读取就混入不兼容数据。敏感家庭或工业视频应使用私有存储并限制访问。
远程推理架构
机器人旁边只保留相机、电机、遥操作和记录,策略运行在GPU服务器。客户端发送观察和指令,服务器返回动作块。网络抖动时机器人可能继续执行已缓存动作,因此必须设置动作有效期、延迟阈值和本地急停;超时后进入安全姿态,不能盲目续跑。
站内Gemini Robotics空间理解实战介绍了视觉与空间推理,Dream-1机器人模型解析可用于比较不同路线。
训练与验收
先用小规模数据验证管线,再启用FSDP2或HSDP多卡训练。记录模型、数据版本、随机种子和检查点。评测至少运行足够多回合,并报告成功数量和置信区间,不能用少数幸运演示宣称任务已解决。真实硬件测试按低速、空载、软物体、目标物体逐级放开。
安全清单
限制工作空间和关节速度;人进入区域立即停止;自主规划只能调用白名单子任务;远程服务使用TLS和访问控制;所有动作保留时间戳。语言指令可能被误听或误解,危险动作需要明确确认。
结论
LeRobot 0.7降低了从数据到交互机器人的工程门槛,但可靠落地仍依赖仿真、延迟控制、硬件边界和统计评测。先把停止机制做对,再追求更复杂的自主能力。