机器人视觉控制新范式！ByteDance Research新算法实现通过性能SOTA

图片地址：https://n.sinaimg.cn/front20250221ac/160/w1280h1280/20250221/f10c-6baca29d2d1f8cd570f0f35698d2cfa1.jpg

世界模型（World Model）作为近年来机器学习和强化学习的研究热点，通过建立智能体对其所处环境的一种内部表征和模拟，能够加强智能体对于世界的理解，进而更好地进行规划和决策。在强化学习领域中，世界模型通常被建模为一个神经网络，通过历史状态和动作，预测未来可能出现的状态。其中，Dreamer 算法在多种模拟环境的成功表现让我们看到了世界模型优秀的表征和泛化能力。如果将世界模型应用于复杂真实场景，是否能够实现更好的控制决策呢？对此，ByteDance Research 研究团队成功将世界模型应用于四足机器人视觉控制领域，提出了基于世界模型的感知算法 WMP（World Model-based Perception），WMP 通过在模拟器中学习世界模型和策略，其中世界模型通过历史感知信息（包括视觉感知和本体感知）预测未来的感知，策略以世界模型提取的特征作为输入，输出具体控制动作。WMP 将模拟器中训练的世界模型和策略 Zero-S