MotionLM：多智能体运动预测的语言建模技术

本文经自动驾驶之心公众号授权转载，转载请联系出处。

原标题：MotionLM: Multi-Agent Motion Forecasting as Language Modeling

论文链接：https://arxiv.org/pdf/2309.16534.pdf

作者单位：Waymo

会议：ICCV 2025

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文思路：

对于自动驾驶车辆安全规划来说，可靠地预测道路代理未来行为是至关重要的。本研究将连续轨迹表示为离散运动令牌序列，并将多智能体运动预测视为语言建模任务。我们提出的模型MotionLM具有以下几个优点：首先，它不需要使用锚点或显式潜变量来优化学习多模态分布。相反，我们利用标准的语言建模目标，最大化序列令牌的平均对数概率。其次，我们的方法避免了事后交互启发法，其中个体代理轨迹生成是在交互评分之后进行的。相反，MotionLM在单个自回归解码过程中生成了交互式代理未来的联合分布。此外，模型的顺序分解可以实现时间上的因果条件推断。我们提出的方法在Waymo Open Motion Dataset上取得了新的最先进性能，排名第一于交互式挑战排行榜

主要贡献：

在这篇文章中，我们将多智能体运动预测作为一项语言建模任务进行讨论。我们引入了时间因果解码器，对经过因果语言建模损失训练的离散运动令牌进行解码

本文将结合模型中的采样和简单的 rollout 聚合方案，以提高联合轨迹的加权模式识别能力。我们通过在 Waymo Open Motion Dataset 交互预测挑战中的实验，证明了这一新的方法在排名联合 mAP 指标上提高了6%，达到了最先进的性能水平

本文对本文的方法进行了广泛的消融实验，并对它的时间因果条件预测进行了分析，这在很大程度上是目前的联合预测模型所不支持的。

网络设计：

本文的目标是以一种通用的方式对多智能体交互上的分布建模，这种分布可以应用于不同的下游任务，包括最低限度的、联合的和条件预测。为了实现这一目标，需要一个有表现力的生成框架，能够捕捉到驾驶场景中的多种形态。此外，本文在这里考虑保存时间依赖性；即，在本文的模型中，推理遵循一个有向无环图，每个节点的父节点在时间上较早，子节点在时间上较晚，这使得条件预测更接近于因果干预，因为它消除了某些虚假的相关性，否则就会导致不服从时间因果关系。本文观察到，不保留时间依赖关系的联合模型可能在预测实际agent反应方面的能力有限，这是规划中的一个关键用途。为此，本文利用了未来解码器的自回归分解，其中代理的运动tokens有条件地依赖于所有先前采样的tokens，并且轨迹按顺序推出

图1。本文的模型自回归地为一组代理生成离散运动tokens序列，以产生一致的交互式轨迹预测。

请看图2，这是MotionLM的架构

本文首先将与每个建模代理相关的异构场景特征(左)编码为形状R、N、·、H的场景嵌入。其中，R为首次推出(rollouts)的数量，N为联合建模的代理数量，H为每次嵌入的维数。在推理过程中，为了并行采样，本文在批量维度上重复嵌入R次。接下来，一个轨迹解码器以一种时间因果的方式(中心)为多个代理推出(rolls out) T 个离散运动tokens。最后，通过使用非最大抑制初始化的k-means聚类的简单聚合，可以恢复 rollouts 典型模式(右图)。

图3。展示了三个WOMD场景的前两种预测联合推出(joint rollout)模式。

颜色梯度表示了从t = 0秒到t = 8秒的时间变化。联合模式由绿色过渡到蓝色，次联合模式由橙色过渡到紫色的概率最大。我们观察到了三种类型的交互：相邻车道中的智能体会根据变道时间给予变道智能体让行（左侧），行人会根据车辆的进度走在过往车辆后面（中间），转弯车辆要么会给过路的骑车人让路（最可能的模式），要么会在骑车人接近之前转弯（次要模式）（右侧）

请看图4。这张图展示了联合推出（左侧）、干预后因果贝叶斯网络（中间）和因果条件反射（右侧）的因果贝叶斯网络表示

实线表示时间上的因果相关性，而虚线表示因果信息流。没有时间依赖约束的模型将支持因果条件作用，但不支持时间因果条件作用，这在试图预测agent反应时可能是有问题的。

实验结果：

引用：

Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2025). MotionLM: Multi-Agent Motion Forecasting as Language Modeling. ArXiv. /abs/2309.16534

原文链接：https://mp.weixin.qq.com/s/mtai0ra8penfuj7ujcfd6a

# 架构  # map  # https  # 令牌  # 这是  # 未来  # 这在  # 最先进  # 看图  # 进行了  # 几个  # 这一  # 就会 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： 易企秀AI排版如何生成H5页面_易企秀AI排版H5制作入口与组件添加【方法】  找不到百度AI助手入口 最新官网登录入口  豆包AI的发现页面有什么功能_探索热门智能体与话题  定价3499炒到1.2万，豆包AI手机遭“封杀”，变革之路何去何从？  AI Buildr: 构建 AI 应用的终极指南  AMD Ryzen 5 2600: 游戏玩家高性价比之选  ChatGPT一键生成PPT怎么加内容_ChatGPTPPT内容添加【方法】  探索心灵的音乐之旅：Kanwar Garewal的《Ishq Bulleh Nu》  Replika AI：情感慰藉还是虚拟危机？深度剖析与用户反馈  构建AI工作流：利用BuildShip低代码平台赋能Gemini和Google Cloud  Canva AI 辅助 KDP 封面设计：轻松创建畅销书笔记本  使用Go语言构建图像识别系统：完整指南  Filmora 13 AI音乐生成器：创意视频配乐新纪元  夸克AI怎样搜索医疗健康_夸克AI医疗频道与症状自查【技巧】  在线奇幻名称生成器：打造独一无二的角色名  AI视频生成器：免费工具，图像转视频和文字转视频  解读诗歌中的女性视角：Shelley Puhak 的作品解析  AI网站构建指南：Duda平台免费创建教程  AI面试助手：提升招聘效率的终极工具  AI Agent：颠覆传统工作模式的关键力量  深度解析Coldplay酷玩乐队《Viva la Vida》的音乐内涵  AI项目管理软件如何利用自然语言处理？全面解析  利用 DeepSeek 辅助进行编译器原理课程学习  百度AI助手直接入口 一键直达官网入口  淋巴按摩终极指南：在家打造紧致透亮肌肤  探索未来：AI机器人AURORA揭秘亚特兰蒂斯之谜  使用文心一言进行高质量的唐诗宋词创意改编  AI在销售CRM软件中的角色：提升效率和客户互动  提升英语口语：地道表达周末体验，语法精讲助你流利交流  FeelinAI聊天网页版 Feelin官方网站地址  SEO必备工具：网站分析与优化终极指南  如何用AI帮你把小说改编成电影剧本？3步掌握核心技巧  免费高效获客！ChatGPT助你快速生成潜在客户名单  通义万相做小红书配图怎么用_通义万相做小红书配图使用方法详细指南【教程】  ChatGPT图像生成器完全指南：文化影响、伦理挑战与商业变革  Midjourney怎么用一键生成海报_Midjourney海报生成教程【方法】  AdobeExpressAI智能排版怎么快速生成Logo_AdobeExpressAI智能排版Logo生成入口【步骤】  Codeforces Pair Programming Problem: C 解题思路  百度AI助手在线体验入口 最新版免费试用入口  ChatGPT怎么用一键生成读书笔记_ChatGPT笔记生成教程【攻略】  Canva AI终极指南：免费AI聊天机器人，设计、视频、网站全搞定！  AI动画制作终极指南：让你的图片和人物栩栩如生  AI一键生成原创SEO文章  批改网ai检测工具怎么检测多语言作文_批改网ai检测工具多语言切换与检测支持【技巧】  AI 和 Plagiarism Checker：SEO 内容创作的终极指南  OpenArt：终极AI内容创作平台，图像、视频和角色一致性  Midjourney怎样加风格词调质感_Midjourney风格词技巧【指南】  通义千问网页版怎么用模板_通义千问模板使用方法【方法】  寻宝者的发现：古董探测与文物挖掘揭秘  通义万相AI绘画怎么用_通义万相AI绘画使用方法详细指南【教程】 

 2023-10-13