世界模型¶

这一页解决什么

世界模型预测"如果我这样做，环境会变成什么样"。它可以用来在想象中规划、给策略学习生成数据，或者理解视频中的物理规律。进阶选修；你的 Manifold Dynamics 研究（学到的潜在状态 + 转移算子）在结构上就是一个世界模型。

学到什么程度¶

定义：给定当前状态（或观测历史）和动作，预测下一状态或观测：s_{t+1} = f(s_t, a_t)。没有动作输入的视频预测模型只是"会看"，不能直接用来做决策。

潜在空间建模：直接预测像素代价高、充满无关细节。主流做法先把观测编码成紧凑的潜在状态，在潜在空间里学习动力学（如 Dreamer 的 RSSM），只在需要时解码。

在模型中规划：用世界模型模拟多条候选动作序列的后果，选最好的执行（模型预测控制的思路）；或在想象出的轨迹上训练策略（Dreamer），大幅减少真实交互。

预测式表示学习（JEPA）：不重建像素，而是在表示空间中预测被遮挡部分或未来的表示，学到更抽象、更稳健的状态，可以作为世界模型的编码器。

视频生成作为世界模拟器：大规模视频生成模型展示了一定的物理常识，被用来合成机器人训练数据或做长时预测；但物理一致性和动作可控性仍不可靠。

复合误差与评估：多步预测时误差会累积。好的世界模型不只看单步预测误差，更要看用它规划或训练出的策略在真实环境中是否更好。

生成派认为能逼真地生成未来视频就证明理解了世界，还能直接产出训练数据；表示派（如 LeCun 的 JEPA）认为重建每个像素既浪费又不必要，智能需要的是在抽象状态上预测。两条路线目前都在发展，评判标准最终是下游决策的收益。

经典入门 · World Models（Ha & Schmidhuber）

带交互演示的论文页面：视觉编码、潜在动力学、在"梦"中训练控制器。

打开论文页面
主流方法 · DreamerV3

一套超参数跨多个领域工作的潜在世界模型强化学习方法。

打开项目页

读一遍 World Models 的交互页面

跟着页面里的演示，画出"编码 → 潜在动力学 → 控制器"三部分，再对照你的 Manifold Dynamics 研究写一页对比。

打开页面

视频预测模型和世界模型有什么区别？

世界模型以动作为条件，能回答"如果我做 a 会怎样"；不以动作为条件的视频预测只能预测"接下来通常会怎样"，不能用于决策。

为什么多在潜在空间而不是像素空间建动力学？

像素空间维度高、包含大量与任务无关的细节（纹理、光照），预测难且慢；潜在空间紧凑，只保留与动力学相关的信息。

单步预测误差很低，为什么规划效果仍可能很差？

多步滚动时误差累积；策略还会主动寻找模型预测错误、看起来回报很高的区域（模型被"利用"）。

Manifold Dynamics 与 Dreamer 的共同点和区别？

共同点：都学一个潜在状态和转移算子。区别：Manifold Dynamics 用偏离学到的流来检测异常，不以动作为条件；Dreamer 以动作为条件，并用来训练策略。