Gemini Robotics ER 2 Streaming通过Live API持续接收音频和视频，为低延迟机器人Agent提供双向流和函数调用。实时能力能让机器人根据环境变化及时调整，但也会把网络抖动、过期画面和错误指令带入控制链。设计原则应是：模型负责提出受约束动作，安全控制器决定动作能否真正执行。
一、实时不等于毫秒级闭环
云端模型存在采集、编码、网络、推理和返回延迟，不适合承担电机稳定、碰撞避免等高频闭环。底层控制必须在本地实时系统中完成。模型可以每隔一段时间更新目标或策略，任何延迟超过阈值的指令都应丢弃，不能执行已经过期的环境判断。
二、为每帧和每条指令加时间
视频帧、传感器状态和工具调用都要携带单调时间戳与序号。执行层检查指令基于哪一帧生成，若环境已经变化则重新规划。重连后不能把缓存中的旧动作继续发送。时间一致性是实时Agent避免“看见过去、操作现在”的基础。
三、语音命令必须确认身份
开放环境中的旁人、电视和背景广播都可能被识别为指令。涉及移动、抓取和设备启动时，先确认授权操作者，再复述关键目标。高风险动作使用按钮、工牌或控制台进行二次确认，不能只凭声音相似度决定权限。
四、函数调用采用安全封装
模型看到的是“移动到检测点”“夹取工件”等高层函数，而不是任意电机命令。函数内部限制速度、载荷、区域和姿态，并在执行前读取最新传感器。参数异常、目标不可达或人员进入区域时返回明确错误，让模型重新规划而不是强行重试。
五、急停链必须脱离模型
物理急停、安全光栅、扭矩限制和看门狗独立运行，即使网络断开或模型卡死也能停车。软件停止按钮应直接连接执行控制层，不只是给模型发送一句“请停止”。每次演练断网、超时、重复调用和异常工具返回，确认设备进入安全状态。
六、用数字孪生先做压力测试
在仿真环境中注入遮挡、延迟、丢帧、错误识别和移动障碍，观察Agent是否及时停止。真实设备从低速、软材料和受限区域开始。测试指标包含动作成功率、最小安全距离、错误恢复时间和人工接管次数，而不只是任务速度。
七、上线后的持续监控
监控端到端延迟分布、丢帧、模型拒绝、工具错误与安全控制触发频率。模型或提示更新后重新做回归，不能默认新版本行为一致。实时机器人只有在过期指令被拒绝、权限可控、急停独立和全过程可审计时，才能从演示走向生产。
