扩散策略：Diffusion Policy for Robotic Manipulation

文章目录

    • 每日一句正能量
    • 一、引言：为什么机器人需要"生成式动作建模"？
    • 二、多模态动作分布：问题的本质
      • 2.1 空间多模态性
      • 2.2 时间多模态性
    • 三、Diffusion Policy 架构详解
      • 3.1 总体架构
      • 3.2 两种去噪网络实现
    • 四、去噪过程：从噪声到动作序列
      • 4.1 前向扩散（训练）
      • 4.2 反向去噪（推理）
      • 4.3 DDIM 加速
    • 五、滑动窗口执行：Receding Horizon Control
    • 六、核心代码实现
      • 6.1 完整训练流程
    • 七、实验结果与性能分析
      • 7.1 基准对比
      • 7.2 关键发现
    • 八、进阶主题与扩展
      • 8.1 语言条件扩散策略
      • 8.2 扩散策略 + 强化学习
      • 8.3 扩散策略的世界模型
    • 九、挑战与未来方向
      • 9.1 当前挑战
      • 9.2 未来方向
    • 十、总结

每日一句正能量

勇敢告别的人会被奖励一个新的开始。
👉 离开消耗自己的关系或环境，不是失败，而是一种勇气。新的空间、新的可能性，会自然到来。

一、引言：为什么机器人需要"生成式动作建模"？

在机器人模仿学习中，一个长期困扰研究者的核心问题是多模态动作分布（Multimodal Action Distribution）。考虑一个简单的推方块任务：机器人可以从方块的左侧推，也可以从右侧推，两种轨迹都是有效的演示。然而，传统的行为克隆（Behavior Cloning, BC）使用均方误差（MSE）损失，会将两种模式平均为一个无效的中间轨迹。

这一问题不仅存在于空间维度（同一时刻的多个有效动作），还存在于时间维度（同一任务的不同执行顺序）。2023 年，Columbia University 和 Toyota Research Institute 的研究者提出了Diffusion Policy——将扩散模型（Diffusion Model）引入机器人策略学习，通过生成式建模天然地表达多模态分布，在 15 项真实机器人操作任务上取得了 SOTA 性能。

本文将从生成式动作建模和多模