← 返回文章

Thoughts

具身智能

我认为的具身智能方向

#具身智能

关于具身智能:我们离真正理解物理世界还有多远?

我在一家公司的具身智能部门待了不到三个月。虽然入行不久,但参与真实项目之后,我越来越强烈地意识到:具身智能距离稳定交付还有很远。 我们公司规模不大,原本从事安防业务,后来希望开拓新的增长方向,于是成立了具身智能部门。公司接到了包裹分拣项目,但整个团队只有二十多人,真正负责落地工作的,主要是我和另一位同事。 这段经历不一定能够代表整个行业,却让我看见了具身智能从演示走向交付时,必须面对的真实问题。

人类眼中的简单任务,对机器人并不简单

我们的项目是让机器人在包裹分拣企业中工作。 对人来说,任务非常直接:把快递放上传送带,再将纸箱和袋装包裹分别放到不同区域。 但对机器人来说,它需要解决一连串问题:

  • 自己在哪里?
  • 包裹在哪里?
  • 包裹属于什么类别?
  • 应该抓取哪个位置?
  • 使用夹爪、吸盘还是其他工具?
  • 多个包裹互相遮挡时,先处理哪一个?
  • 包裹移动后,原来的定位结果是否仍然有效?
  • 抓取失败后,应该重试、换抓取点还是请求人工介入? 这些问题无法简单地用一句“多训练一些数据”概括。 机器人面对的不是静态图像,而是一个持续变化的物理世界。感知误差、坐标标定、相机时延、机械臂精度、物体变形、遮挡、摩擦和末端负载,都会影响最终结果。 一个模型能识别出“这是袋装包裹”,不代表机器人就能把它稳定抓起来。

大模型进入具身,首先还是在做它擅长的事

大语言模型最擅长的是语义理解、常识推理和任务分解。 它可以理解“把房间收拾一下”这样的模糊指令,也可以把复杂任务分解成多个步骤。进入机器人系统以后,它可以负责:

  • 理解用户目标;
  • 识别当前任务;
  • 分解执行步骤;
  • 选择已有技能;
  • 根据反馈判断任务是否完成;
  • 在失败后决定重试、换方案或寻求帮助。 但这不意味着大模型适合直接控制电机。 一个相对合理的机器人系统,可能包含以下层级:
任务理解与规划
大模型理解“要做什么”

技能选择与动作生成
VLA、模仿学习或RL决定“这一小段怎么做”

运动规划与安全约束
IK、轨迹规划、碰撞检测、速度和力矩限制

底层执行
伺服控制器控制电机,并读取编码器与传感器反馈

大模型可以提出动作,但工业控制系统必须拥有审核权和否决权。 如果模型输出了不可达的 TCP 位姿、危险的关节目标或者可能碰撞的轨迹,控制系统应该拒绝、裁剪或重新规划,而不是直接执行。 因此,所谓“大模型控制机器人”,更准确的表述应该是:

大模型在受约束的动作空间中进行决策和技能调度,传统控制系统负责可靠、安全地完成动作。

VLA 不等于直接控制电机

VLA,即 Vision-Language-Action Model,通常接收视觉信息、语言指令以及机器人状态,然后输出某种形式的动作。 但 VLA 并没有一种固定结构,它可能输出:

  • 关节角或关节增量;
  • TCP 目标位姿;
  • 末端位姿增量;
  • 夹爪开合状态;
  • 一段短时间的动作序列;
  • 对已有机器人技能的调用。 如果模型输出 TCP 目标,就需要通过逆运动学和运动规划转化为关节轨迹;如果模型输出关节目标,后续仍然需要插值、限速、碰撞检查和伺服控制。 因此,VLA 不一定要取代传统控制。它可以只负责传统工程最难处理的部分,例如:
  • 在复杂视觉环境中选择抓取目标;
  • 根据物体形状生成抓取策略;
  • 在物体变形或遮挡时调整动作;
  • 在抓取失败后选择新的恢复方案;
  • 将自然语言目标转化为机器人技能。 而传统控制、模仿学习和强化学习,也不必与 VLA 互相排斥。 一种更现实的组合可能是:
  • 大模型理解任务并进行高层规划;
  • VLA 或模仿学习生成短时动作;
  • 强化学习优化接触、步态或局部控制策略;
  • 传统运动规划保证轨迹可达;
  • 视觉伺服、力控和阻抗控制完成精确操作;
  • 安全控制器始终负责限位、碰撞和急停。 具身智能的未来,未必是一个模型包办全部工作,而可能是多种方法组成的分层系统。

工业问题不能全部归结为“训练”

在真实项目中,我遇到过一个非常典型的问题。 客户提出:机器人底座移动以后,原有标定可能产生误差,系统应当如何保证重定位精度? 有人给出的答案是:“多标定几次就可以了。” 但重复标定只能在一定程度上降低随机误差,无法自动消除机械安装变化、相机漂移、时间同步误差、末端负载、坐标转换误差和标定模型偏差。 客户继续询问系统能否达到 0.1 毫米精度,这时更不应该轻易承诺。 机械臂的重复定位精度,不等于整个机器人系统的绝对定位精度。一个完整系统的误差来自:

  • 机械臂本体;
  • 移动底盘重定位;
  • 相机内外参;
  • 手眼标定;
  • 目标检测与深度估计;
  • 末端工具偏差;
  • 机械刚度和背隙;
  • 网络与传感器时延;
  • 被操作物体自身的形变。 这些问题不能靠一个更大的模型自动消失。 模型负责处理不确定性,工程系统负责建立确定性。二者缺一不可。

工业是否真的需要具身智能?

我曾经怀疑具身智能能否在工业场景中落地。 如果工件、位置、流程和环境都高度固定,那么 PLC、机械臂、夹具、传统视觉和状态机往往已经足够。与其训练一个通用模型,不如重新设计工位、改善夹具和送料机构。 从这个角度看,很多所谓的具身项目,实际上是在使用昂贵的智能技术,绕开本来可以通过工程改造解决的问题。 但这并不意味着工业完全不需要具身智能。 工业内部也存在大量难以为单个任务设计专机的长尾工作:

  • 物料种类经常变化;
  • 工位不能完全标准化;
  • 人与机器人共享空间;
  • 任务批次小、变化快;
  • 需要处理遮挡、变形和异常;
  • 单个任务的自动化改造成本过高。 这些任务介于传统工业自动化和开放家庭环境之间,可能正是具身智能较早产生价值的区域。 所以更准确的判断不是“具身智能不能进入工业”,而是:

高度结构化的工业任务不需要通用具身智能;只有当规则开始爆炸、环境无法完全改造时,具身智能的价值才会出现。

具身智能真正适合的,是难以穷举的任务

相比固定工业任务,家政、养老和服务场景更能体现具身智能的独特价值。 例如“把客厅收拾一下”,机器人需要理解:

  • 什么状态叫作“乱”;
  • 哪些物品应该放在哪里;
  • 哪些东西可以丢弃;
  • 杯子里是否还有液体;
  • 衣服是干净的还是待洗的;
  • 某件物品是否属于用户的重要私人物品;
  • 遇到无法判断的情况是否应该询问用户。 这些任务无法通过一个有限状态机完整枚举。 机器人需要融合视觉、深度、触觉、力矩、声音和自身状态,并根据语义理解进行决策。这正是大模型可能发挥作用的地方。 但这里也存在一个矛盾:

越需要通用智能的环境,状态空间越开放;状态空间越开放,就越难保证可靠性、安全性和可验收性。 工业任务可以规定成功率、节拍、定位误差和停机时间,但“把房间收拾干净”很难定义统一标准。 家庭场景还包含儿童、宠物、易碎品、药物和隐私信息。一次错误可能不只是任务失败,还可能造成财产损失或人身伤害。 所以,家政可能是具身智能最有价值的终点,却未必是最容易商业化的起点。 更可能的发展路线是:

结构化工业任务

半结构化仓储、酒店、医院和商超

受限制的家庭技能

开放环境中的通用家庭助理

数据标准重要,但不是等待落地的前置条件

当前机器人数据确实非常混乱。 不同数据集中的任务长度、采样频率、动作空间、机器人本体和传感器配置都可能不同。有的数据记录关节角,有的记录末端位姿,有的包含力矩,有的只有图像和动作。 但“存在差异”不等于“数据不可用”。 这里需要区分三类情况:

  • 有意义的多样性:机器人、环境和任务本来就不同;
  • 可以归一化的差异:坐标系、单位、频率和时间戳;
  • 真正的数据污染:丢帧、不同步、动作定义缺失和失败标签错误。 具身智能不需要等待全行业制定出唯一的数据采集方式以后再落地,但它需要明确的数据规范:
  • 统一时间同步方式;
  • 记录传感器和机器人外参;
  • 明确定义动作空间;
  • 保留成功、失败和人工干预数据;
  • 标记环境和本体信息;
  • 建立可以复现的评测协议。 所谓泛化,也不是把每个场景随意改变一次。真实场景的组合近乎无限,不可能穷举。 更有效的方式是识别关键变化因素,例如光照、遮挡、材质、速度、物体姿态和相机扰动,并有控制地覆盖这些变化。

世界模型真的有意义吗?

我认为世界模型有意义,但这个概念正在被过度包装。 真正的世界模型,不只是生成一段看起来合理的视频,而应该回答:

在当前状态下,如果机器人执行某个动作,接下来会发生什么? 它需要建立动作和结果之间的联系。 例如机器人准备拉开抽屉时,世界模型应该能够预测:

  • 抽屉会沿什么方向移动;
  • 夹爪是否可能滑脱;
  • 抽屉是否可能被锁住;
  • 运动过程中是否会碰撞;
  • 打开以后会暴露出哪些新物体。 语义模型告诉机器人“这是一个抽屉”,世界模型告诉机器人“拉动它以后,世界会怎样变化”。 世界模型可以帮助机器人:
  • 在执行前推演不同方案;
  • 预测失败;
  • 选择风险更小的动作;
  • 补全被遮挡的环境状态;
  • 在仿真或想象中生成训练经验;
  • 判断实际执行是否偏离预期。 但能够生成逼真视频,不代表模型真正掌握了物理规律。 视频生成允许位置偏差、接触错误和细节漂移;机器人操作却可能因为几毫米误差而彻底失败。视觉上合理,不等于动力学正确,更不等于可以控制。 因此,我不认为世界模型一定要模拟一个完整、高清、长期稳定的世界。真正有工程价值的世界模型可能非常局部:
  • 预测抓取后是否会滑落;
  • 预测推动物体后的运动方向;
  • 判断轨迹是否可能碰撞;
  • 估计夹爪是否已经夹稳;
  • 预测未来一两秒内的接触状态;
  • 判断当前动作是否正在走向失败。 相比生成整个世界,这种短时、局部、能够接受真实传感器纠偏的模型,可能更接近机器人真正需要的能力。

AI 接下来需要学习的,是如何理解并作用于世界

讨论到最后,具身智能的核心问题可以概括为:

如何让 AI 不仅能够识别和描述世界,还能理解世界的状态、规律,以及自身行为将造成什么结果。 这个问题可以继续拆分:

感知:现在有什么?
空间:它们在哪里?
状态:它们正在发生什么?
因果:执行某个动作会产生什么结果?
行动:为了目标应该怎么做?
反馈:实际结果是否符合预测?
学习:预测错误以后如何修正?

现阶段的大模型在感知、描述和语义理解上已经表现出很强的能力,但在空间一致性、物理因果、实时行动、长期反馈和持续学习上仍然不足。 模型能够说出“玻璃杯掉到地上可能会碎”,不等于它能够判断杯子有没有被夹稳,也不等于它能在杯子滑落的一瞬间调整夹持力。 所以,判断具身智能是否进步,不能只看它是否理解了更多概念,或者能否完成更漂亮的演示,而要看它能否形成完整闭环:

观察世界
→ 建立状态
→ 预测动作结果
→ 选择并执行动作
→ 检查实际反馈
→ 发现预测错误
→ 调整下一步行为

语言模型主要通过已有数据学习世界,而具身系统必须真正进入世界、作用于世界、承担行动的结果,并从这些结果中继续学习。

结语

我依然认为,具身智能距离稳定、通用和大规模交付还有很远。 但现在看来,问题并不是“大模型完全不应该进入机器人”,也不是“VLA 在技术逻辑上没有未来”。 真正的问题是,我们才刚刚开始把语义理解、三维感知、物理预测、动作生成、实时控制、安全约束和持续学习连接成一个完整系统。 具身智能最不缺的是演示,最缺的是闭环。 它需要的不只是一个能够描述世界的大模型,而是一个能够在行动前预测、在行动中纠偏、在失败后学习,并且知道自己什么时候不可靠的系统。 只有到了那一步,我们讨论的才不再是“让 AI 控制一个机器人”,而是让 AI 真正开始理解它所处的世界。