数码影音频道 频道

智源悟界RoboBrain Orca发布:AI从预测"下一个词"走向预测"下一个世界状态"

“AI摘要”

智源研究院发布多模态表征世界模型Orca,核心理念是从预测“下一个具体模态输出”转向预测“下一个世界状态”,让AI在内部形成统一的世界潜在表征空间,学习物体运动、场景变化及因果关系。Orca采用“无意识学习”(通过海量视频学习自然动态)和“有意识学习”(利用语言事件指令理解状态转移)两条路径,训练数据包含12.5万小时视频和1.6亿条事件标注。该模型支持文本、图像、动作等多解码器读出,在状态理解、交互预测和机器人泛化方面表现优异,有望成为通用世界基础模型的重要基石。

  智源研究院旗下悟界(RoboBrain)发布多模态表征世界模型Orca。该模型的核心理念是从预测"下一个具体模态输出"走向预测"下一个世界状态"(Next State Prediction),旨在让AI在"脑海中"形成对当前世界状态高度浓缩的表征,并基于此建模世界状态的演变。

  技术哲学:The World is in Your Mind

  大语言模型学会预测"下一个词",于是有了ChatGPT、DeepSeek;视频生成模型学会预测"下一帧",于是有了Sora、Seedance;具身模型学会预测"下一个动作",机器人开始完成复杂任务。而Orca要做一件更底层的事:让AI先利用多模态世界信号学习世界表征,再做好一切任务。

  Orca看到一段视频、一张图、一个指令后,先在内部形成统一的世界潜在表征空间,把视觉、语言、事件、任务意图等多模态信号组织起来,学习物体如何运动、场景如何变化、动作带来的后果以及事件间的因果关系。

  无意识学习+有意识学习:拆解世界认知路径

  Orca把世界学习拆成两条互补路径。无意识学习类似婴儿通过连续观察自然世界获得经验——通过海量真实世界视频,让模型先学会"世界自己怎么动"。有意识学习则用语言描述的事件、任务指令和VQA问答,帮助模型学习稀疏但有具体意义的状态转移。

  训练数据方面,Orca使用了12.5万小时视频和1.6亿条事件标注,且预训练具备持续Scaling的潜力。随着训练数据增加,下游任务能力可随之提升。

  多解码器读出:文本、图像、动作全面覆盖

  Orca学到的表征可通过多种解码器读出。在文本读出上,更擅长状态转移理解和动态运动推理;在图像读出上,更能展现真实场景的交互预测能力;在动作读出上,即使预训练中未学习动作标签,也能帮助下游机器人更好地泛化。

  Orca所代表的世界学习范式有望从具身智能进一步走向科学发现、复杂系统建模乃至更广阔的认知边界。它是多模态表征世界模型的一个早期版本,但有可能成为通用世界基础模型的一块重要基石。

0
相关文章