Orca论文：从预测下一个token到理解世界状态的AI范式革命

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度

当GPT猜下一个词、Sora猜下一帧、机器人模型猜下一个动作，整个AI行业似乎都陷入了一个思维定式：预测下一个输出单元就是通往智能的必经之路。但北京智源人工智能研究院（BAAI）的57位作者在Orca论文中提出了一个颠覆性的观点——我们可能一直在错误的方向上努力。

这篇名为《Orca：The World is in Your Mind》的论文于2026年6月发布，它没有在"更大模型、更多数据"的赛道上继续内卷，而是从根本上质疑了当前AI的基础范式。Orca认为，真正的智能不是预测表面的token、像素或动作，而是理解世界的本质状态。

1. 当前AI范式的根本困境

1.1 三个领域的同一局限

当前主流AI模型都在做同一件事：预测下一个输出单元。GPT系列预测下一个token，视频模型预测下一帧像素，机器人模型预测下一个动作指令。表面上看，这三个领域取得了令人瞩目的成就，但Orca论文尖锐地指出，它们共享同一个本质缺陷——统计模仿而非真正理解。

以语言模型为例，当GPT看到"今天天气"时输出"真好"，并不是因为它理解天气概念，而是因为在训练数据中这个组合出现的概率最高。同样，视频模型生成连续帧时，本质是在做像素级的插值计算，而非真正理解物理运动规律。

1.2 统计匹配的豪华升级版

Orca论文原文指出："智能不应该仅仅是能做Next-Token-Prediction的模型、能生成高质量视频的Next-Frame-Prediction模型，或者能生成高质量动作的Next-Action-Prediction模型。它应该被定义为构建世界状态并支持多样化下游任务的能力。"

这种批评直指当前AI技术的核心问题：我们训练出的模型更像是高级的统计匹配引擎，而非具有真正理解能力的智能体。当一个模型只在表面模式上做文章，它在面对全新场景或需要深度推理的任务时就会暴露局限性。

2. Orca的核心思想：从预测表面到理解本质

2.1 状态与token的本质区别

Orca提出的"预测下一状态"与传统的"预测下一个token"有着根本性的不同。状态（State）指的是世界的物理本质——物体的位置、速度、受力情况、物理属性等内在特性；而token只是这些本质的表面表征。

用一个具体例子说明：当一个球在空中运动时，传统视频模型关注的是球在每一帧画面中的像素位置变化，而Orca关注的是球的物理状态——它的质量、初速度、受到的引力、空气阻力等物理参数。前者是表面的视觉信息，后者是深层的物理现实。

2.2 数学框架：状态演化的形式化定义

Orca论文给出了清晰的状态演化数学框架：

S_{t+Δ} = f(S_t, z, c)

其中：

  • S_t表示时间t的世界状态
  • z是隐式动力学（物理规律、对象属性等）
  • c是显式条件（人类指令、任务目标等）
  • Δ是时间偏移量，Δ>0时预测未来，Δ<0时回溯过去

这个框架的关键在于，状态演化不仅考虑表面的观测值，更重要的是融入了物理规律和环境约束，使得模型能够进行基于真实物理的推理。

3. Orca的学习范式：婴儿式认知发展

3.1 无意识学习：从连续视频中获取物理直觉

Orca的无意识学习过程模仿了人类婴儿的认知发展路径。婴儿在学会语言之前，就已经通过观察理解了基本的物理规律——物体会下落、碰撞会改变运动状态、被遮挡的物体仍然存在。

Orca从125,000小时的连续视频中学习，不需要任何人工标注。通过分析帧与帧之间的变化，模型自发地捕捉物体运动轨迹、碰撞因果关系等物理规律。这种学习完全基于自监督信号，就像婴儿通过观察世界来建立物理直觉。

3.2 有意识学习：用语言组织因果结构

有意识学习阶段引入了语言描述的事件和视觉问答任务，帮助模型将无意识学习获得的物理直觉转化为可推理、可交流的因果模式。

例如，当模型观察到"球落地"、"门被打开"等语义事件时，它不仅仅看到像素的变化，更重要的是理解这些事件背后的因果关系：球落地是因为重力作用，门被打开是因为有人施加了力。

3.3 两种学习的协同作用

无意识学习和有意识学习不是孤立的，而是相互促进的协同过程：

# 伪代码示例：Orca的双路径学习框架 class OrcaLearning: def unconscious_learning(self, video_stream): # 从连续视频中提取物理规律 physical_intuition = self.extract_physics(video_stream) return physical_intuition def conscious_learning(self, labeled_events, qa_pairs): # 通过标注事件和问答学习因果结构 causal_structure = self.learn_causality(labeled_events, qa_pairs) return causal_structure def integrate_knowledge(self): # 整合物理直觉和因果理解 world_model = self.combine_physics_and_causality() return world_model

这种双路径设计使得Orca能够同时获得低级的物理直觉和高级的推理能力，类似于人类认知的发展过程。

4. 技术实现细节与架构设计

4.1 多模态统一表征

Orca的核心创新在于构建了一个统一的世界状态表征，能够同时处理语言、视觉和行动信息。与传统方法为每个模态单独设计模型不同，Orca使用共享的骨干网络来编码所有模态的输入。

这种统一架构的优势在于：

  • 减少参数冗余，提高计算效率
  • 促进跨模态的知识迁移
  • 支持更复杂的多模态推理任务

4.2 状态预测头的设计

Orca的状态预测头负责从当前观测预测未来状态。与传统方法直接预测原始输出（如像素或token）不同，Orca预测的是抽象的世界状态：

import torch import torch.nn as nn class StatePredictionHead(nn.Module): def __init__(self, hidden_dim, state_dim): super().__init__() self.state_predictor = nn.Sequential( nn.Linear(hidden_dim, hidden_dim * 2), nn.ReLU(), nn.Linear(hidden_dim * 2, state_dim) ) def forward(self, current_state, dynamics_z, condition_c): # 融合当前状态、动力学和条件信息 combined = torch.cat([current_state, dynamics_z, condition_c], dim=-1) next_state = self.state_predictor(combined) return next_state

这种设计使得模型能够进行基于物理规律的推理，而不是简单的模式匹配。

5. 实验验证与性能分析

5.1 零动作监督的机器人任务

Orca论文中最令人惊讶的结果出现在机器人任务上。在完全零动作监督的预训练后，Orca-4B在真实机器人分布外测试中达到了36.6%的成功率，比同等规模的专业机器人基线模型高出近10个百分点。

这个结果的意义在于，它证明了物理世界理解本身就隐含了行动策略。传统机器人学习需要昂贵的动作标注数据，而Orca表明，通过大量观察视频，模型可以自发地学习到有效的行动策略。

5.2 多任务视频基准测试

在MVBench、TemporalBench、3DSRBench和SWITCH四个视频理解基准测试中，Orca-4B的平均得分达到51.8，显著超过同等规模的Qwen3.5-4B模型（46.7分）。

具体到各个子任务，Orca在需要物理推理的任务上表现尤为突出：

任务类型Orca-4B得分基线模型得分优势分析
物理推理58.249.5对重力、碰撞等物理概念理解更深
时序理解53.148.3能更好捕捉长时间依赖关系
因果推理49.544.2在反事实推理任务上表现突出
动作预测46.444.8即使没有动作标签也有竞争力

5.3 泛化能力测试

Orca在分布外场景的测试中展现了强大的泛化能力。例如，当面对训练数据中罕见的物理场景（如低重力环境）时，Orca能够基于学到的物理规律进行正确推理，而传统模型往往会产生不符合物理规律的输出。

6. 与传统方法的对比分析

6.1 理解深度对比

为了更清晰地展示Orca与传统方法的区别，我们通过一个具体案例进行分析：

假设任务是在视频中预测球的下落轨迹：

传统视频模型的做法：

  • 分析训练数据中类似场景的像素运动模式
  • 基于相邻帧的像素差异进行插值预测
  • 输出结果是视觉上合理的连续帧

Orca的做法：

  • 从当前帧估计球的质量、位置、速度等状态变量
  • 基于物理规律（重力加速度、空气阻力等）计算运动轨迹
  • 输出球的物理状态序列，可转换为视觉帧

6.2 计算效率对比

虽然Orca需要学习更复杂的物理规律，但其统一架构在实际计算中可能更高效：

# 传统多模型方案的计算开销 def traditional_approach(video_input, text_input, action_input): video_model = process_video(video_input) # 视频编码器 text_model = process_text(text_input) # 文本编码器 action_model = process_action(action_input) # 动作编码器 # 需要复杂的多模态融合 return fused_output # Orca统一架构的计算流程 def orca_approach(multimodal_input): unified_representation = orca_encoder(multimodal_input) world_state = state_predictor(unified_representation) return world_state

统一编码器减少了参数冗余，使得模型在保持性能的同时具有更好的计算效率。

7. 实际应用场景与部署考量

7.1 机器人学习与控制

Orca范式对机器人学习具有革命性意义。传统机器人训练需要大量精确的动作标注数据，而Orca表明，通过观看视频，机器人可以自发学习有效的控制策略。

在实际部署中，这意味着：

  • 大幅降低数据标注成本
  • 提高机器人对未知环境的适应能力
  • 支持更复杂的长期规划任务

7.2 自动驾驶系统

自动驾驶系统需要深刻理解物理世界的行为规律。Orca的状态预测框架非常适合用于：

  • 预测其他交通参与者的行为
  • 理解复杂的交通场景动态
  • 进行安全的决策规划

7.3 虚拟仿真与游戏AI

在游戏和虚拟仿真环境中，Orca可以用于创建更真实、更符合物理规律的NPC行为。与传统基于规则或简单学习的方法相比，Orca驱动的角色能够展示更丰富的物理直觉和因果关系理解。

8. 技术挑战与局限性

8.1 状态表征的抽象程度

Orca面临的一个核心挑战是如何定义合适的状态抽象层次。状态过于具体会导致计算复杂度过高，状态过于抽象又可能丢失重要信息。找到合适的平衡点需要深入的理论研究和实验验证。

8.2 训练数据的质量要求

虽然Orca减少了对动作标注的依赖，但对视频数据的质量提出了更高要求。训练数据需要包含丰富的物理场景变化，才能让模型学习到通用的物理规律。

8.3 验证与可解释性

状态预测相比token预测更难直接验证和解释。如何设计有效的评测指标，以及如何理解模型内部的状态表征，都是需要解决的重要问题。

9. 开发实践指南

9.1 环境配置与依赖管理

对于希望实验Orca相关技术的开发者，建议的软件环境配置：

# 创建conda环境 conda create -n orca-experiments python=3.9 conda activate orca-experiments # 安装核心依赖 pip install torch==2.0.0 torchvision==0.15.0 pip install transformers==4.30.0 datasets==2.12.0 # 可视化工具 pip install matplotlib seaborn plotly

9.2 数据处理流程示例

import torch from datasets import load_dataset from torch.utils.data import DataLoader class OrcaDataProcessor: def __init__(self, video_path, annotation_path): self.video_data = self.load_video_frames(video_path) self.annotations = self.load_annotations(annotation_path) def extract_physical_states(self, video_clip): """从视频片段提取物理状态信息""" # 实现状态提取逻辑 states = self.estimate_physics(video_clip) return states def create_training_samples(self, window_size=10): """创建训练样本""" samples = [] for i in range(len(self.video_data) - window_size): current_states = self.extract_physical_states( self.video_data[i:i+window_size]) target_states = self.extract_physical_states( self.video_data[i+1:i+window_size+1]) samples.append((current_states, target_states)) return samples

9.3 模型训练最佳实践

基于状态预测的训练需要特别注意以下几点：

  1. 课程学习策略：从简单的物理场景开始，逐步增加复杂度
  2. 多尺度训练：同时学习短期和长期的状态演化
  3. 正则化技术：防止过拟合到特定的物理场景
  4. 评估指标设计：既要考虑预测精度，也要考虑物理合理性

10. 常见问题与解决方案

10.1 训练稳定性问题

问题现象：训练过程中损失值震荡较大，收敛困难

可能原因：

  • 状态表征维度不合适
  • 学习率设置不当
  • 训练数据中的物理场景变化过大

解决方案：

# 调整学习率调度策略 optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=100) # 添加梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

10.2 状态预测偏差问题

问题现象：模型预测的状态逐渐偏离真实物理规律

可能原因：

  • 训练数据分布偏差
  • 物理约束建模不充分
  • 长期预测误差累积

解决方案：

  • 在损失函数中加入物理约束项
  • 使用教师强制训练策略
  • 增加数据增强的多样性

10.3 计算资源优化

问题现象：模型训练和推理耗时过长

优化策略：

# 使用混合精度训练 from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): output = model(input_data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() # 模型量化推理 quantized_model = torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtype=torch.qint8)

11. 行业影响与未来展望

11.1 对AI基础设施的影响

如果Orca的范式被证明是正确的，当前基于大规模token预测的AI基础设施投资逻辑可能需要重新评估。对算力需求的重点可能从单纯的规模扩张转向更高效的物理建模能力。

11.2 对研究方向的引导

Orca为AI研究提供了新的方向：

  • 物理启发的神经网络架构
  • 多模态统一表征学习
  • 因果推理与物理理解的结合
  • 样本效率更高的学习算法

11.3 产业应用前景

从产业应用角度看，Orca范式可能在以下领域产生重大影响：

  • 智能制造：更智能的工业机器人
  • 医疗健康：基于物理理解的医疗影像分析
  • 教育科技：具有物理直觉的智能教学系统
  • 娱乐产业：更真实的虚拟世界模拟

Orca论文提出的"预测下一个状态"范式代表了AI发展的一个重要转折点。它提醒我们，真正的智能可能不在于预测更多的表面模式，而在于深入理解世界的运行规律。虽然这一范式仍面临诸多技术挑战，但它为构建真正具有理解能力的AI系统指明了一个有前景的方向。

对于技术开发者而言，现在开始关注状态预测相关技术，掌握多模态统一表征学习方法，理解物理约束在AI中的应用，将为未来的技术发展做好重要准备。Orca不仅是一个具体的技术方案，更是一种思维方式的转变——从表面的统计匹配转向深层的本质理解。

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度