起源：“铁杆交谊」孛显中国表交的鲜明底色
「世界模型」到底是什么？一文看懂其前世今生与百亿赌局
机械之心编译
世界模型（World Model） ，想必你已经在好多场所听过这个术语了。它有时呈此刻视频天生领域 ，有时又呈此刻具身智能领域；它们的寓意还有所差距 ，甚至看起来像是齐全分歧的概想。
为什么会出现这样的吩扃？答案藏在这个词的汗青里。
近日 ，MoE Capital 的 Henry Yin 和 Naomi Xia 撰写了一篇深度博客 ，系统梳理了「世界模型」这一概想背后两条长达数十年、彼此独立演进的钻研脉络：一条是强化进建社区从 1990 年代便起头索求的「让智能体在设想中做梦」 ，另一条是推算机视觉社区从海量人类视频中进建物理知识的「从旁观中进建」。直到 2024 至 2025 年间 ，这两条线索才真正交汇 ，生长出我们今天所说的「视频世界模型」。
文章还深度拆解了世界模型当前的真实能力天堑：从已在出产环境落地的自动驾驶仿真 ，到远景可期的机械人战术评估 ，再到尚未得到充分验证的直接机械人节造。作者给出了一份可贵复苏的技术近况判断 ，并坦言整个机械人 AI 领域的成熟度远比 100 亿美元的融资规模所出现的越发早期。
与此同时 ，文章也深刻分解了这场本钱盛宴背后的战术格局：NVIDIA 正通过全栈开源构建物理 AI 时期的「CUDA 护城河」；Yann LeCun 押注齐全绕开像素预测的 JEPA 架构；而 Physical Intelligence 的最新旗舰模型 ，已悄然在内部集成了世界模型组件。两种路线的天堑 ，在加快吞吐。
机械之心编译了这篇文章 ，以飨读者。
原文标题：The Model That Dreams the World（梦见世界的模型）博客链接：https://moe-capital.com/blog-home/the-model-that-dreams-the-world
1. AI 领域最被滥用的词
让我们先看看世界模型能做什么。
一个机械人从未见过鞋带 ，也从没有人远程操控着它实现解开鞋带的作为。但这个机械人俯下身去 ，抓住鞋带 ，将其抽出。它成功了 —— 由于它经过了一个模型的训练 ，这个模型旁观了数千幼时人类双手操作各类物品的视频 ，学会了物体在被拉、被扭、被推时的活动法规 ，并在着手之前就能预判接下来会产生什么。这个机械人在自己的设想中反复操练 ，而后才触碰现实。
这就是世界模型的承诺：一个对物理世界的理解深刻到足以预测下一步会产生什么、并据此采取行动的模型。不是用文字描述世界的说话模型 ，亦非天生画面的视频天生器 ，而是一个真正理解事物运作方式的模型。
从前 18 个月 ，超过 100 亿美元涌入了这一概想。Yann LeCun 脱离 Meta 去构建这样的模型；Danijar Hafner（其 Dreamer 系列是基于模型的强化进建领域最具影响力的工作）也脱离了 DeepMind ，转而将其贸易化；NVIDIA 开源了一整套有关系统；OpenAI 关关了 Sora ，将这次关关定性为向「机械人间界仿真」的转型 ，而就在三周后 ，这个团队的掌管人也脱离了公司。
这些都被叫做世界模型 ，但并不是一回事
然而 ，大无数被冠以「世界模型」之名的器材底子不是真正的世界模型。这个术语如今涵盖了视频天生器、强化进建的梦乡机械、抽象暗示进建器以及作为预测基础模型。两条独立的钻研脉络近期汇聚 ，共同生长了我们今日所称的「视频世界模型」。这次汇聚是若何产生的 ，其了局是否真正见效 —— 这正是本文要探求的问题。
为何偏偏是此刻？两件事同时产生。
第一 ，交互式视频模型自 2024 年起便已存在（如 Genie、GameNGen） ，但彼时仅是狭幼的原型。到了 2025 年 ，两项突破（AR-DiT 与 Self Forcing）使得将通用的高质量视频基础模型刷新成既具交互性又能实时运行成为可能。这让视频世界模型从钻研蜕变为潜在的实用基础设施。
第二 ，机械人领域从来面对数据匮乏的困境 ，而随着行业起头训练基础模型 ，这种饥渴感比以往放大了几个数量级。当前最优良的机械人基础模型在约 1 万幼时的远程操控数据上训练 ，但远程操控成本高、采集缓慢、多样性有限。世界模型提供了另一条路：先在已有的数百万幼时人类视频上做预训练 ，再用少量机械人数据做微调。
不外 ，有必要维持复苏。整个机械人 AI 领域的成熟度远比融资规模所出现的要低得多。当前大无数出产部署依赖的是视觉-说话-作为模型（VLA） ，而非纯正的世界模型 ，不外连当先的 VLA ，Physical Intelligence 的 Pi-0.7 ，也已起头整合一个幼型世界模型用于子指标规划。
世界模型在特定场景下展示了强劲的成就 ——DreamDojo 实现了近乎美满的战术评估 ，DreamGen 实现了从极少数据到泛化的逾越；但对所有步骤来说 ，通用操作工作仍是一路尚未攻克的难题。
2. 两条线索的交汇
我们今日所称的「视频世界模型」 ，脱胎于两条平行发展了数十年、最终在 2024 至 2025 年间交汇的独立钻研脉络。
线索 A：学会做梦（强化进建世界模型 ，1990—2025）
「智能体应该构建一个内部环境模型」这一理想 ，早于深度进建自身。Kenneth Craik 在 1943 年便在《诠释的性质》中提出 ，人类在脑海中携带着现实的「幼型模型」 ，以此预感即将产生的事。1990 年 ，Jürgen Schmidhuber 颁发了《让世界可微》 ，将这一概想大局化用于神经网络：智能体应进建一个可微的环境模型 ，并以此规划行动。这一设法尔后僻静了近三十年。
2018 年 ，David Ha 和 Schmidhuber 以一篇题为《World Models》的论文和一个交互式网站 worldmodels.github.io 将其沉新唤醒 ，让你能亲眼看到 AI 智能体在做梦。
左侧：真实的赛车环境。右侧：智能体对其的梦乡。吞吐之处正是关键 —— 那是世界模型所设想的画面。
Ha & Schmidhuber 的 V+M+C 架构（2018 年）。在梦乡模式（右图）中 ，环境处于断开状态。智能体齐全在其自身设想中进行实际。
该架构分为三个？椋阂桓 VAE（变分自编码器）将像素压缩为潜在向量；一个 MDN-RNN 在该潜在空间中以概率散布的大局预测动态；以及一个齐全在设想中的发展过程中训练出来的微型节造器。这个智能体在自己的梦乡中训练 ，而后被部署到现实中 ，并且成功了 —— 在 Car Racing 和 VizDoom 上得到了验证 ，概想已被证实。
Danijar Hafner 随后用六年功夫在一样理想的基础上 ，以分歧的架构持续深耕。他的 RSSM 架构（PlaNet ，2019）将确定性影象与随机不确定性相结合 ，解决了一个底子性的暗示问题。Dreamer 系列从单一的陆续节造（V1 ，2020）扩大到人类水平的 Atari（V2 ，2021） ，再到以单一超参数集涵盖 150 余个基准测试 ，蕴含在 Minecraft 中从零起头挖取钻石（V3 ，颁发于 2025 年的《Nature》）。Dreamer 4（2025 年底）用 Transformer 代替了循环骨干 ，速度提升了 25 倍。DayDreamer（2022）将其落地到真实机械人上：一个四足机械人仅用一幼时便从零学会了行走。
值得一提的是 ，DeepMind 的 MuZero（2020）另辟蹊径：它进建的世界模型只预测嘉奖和价值 ，从不沉建观测了局。它仅对决策有关的内容建模 ，在从未天生单帧像素的情况下 ，驯服了围棋、国际象棋和 Atari。这与 Dreamer 将观测沉建作为训练信号的哲学截然分歧 ，但主题理想千篇一律：设想可能的未来 ，选择最优行动
DreamerV3 从零起头在《我的世界》里网络钻石 —— 无任何示范 ，无需嘉奖塑造。
DayDreamer 的四足机械人在一幼时的现实世界互动中进建行走。
这条脉络的正确之处：主题理想。进建动力学 ，设想未来 ，从设想中训练战术而非依赖昂贵的真实世界交互 ，作为前提化 ，样本效能。这些概想基础已被今日每一个视频世界模型继承。
它做不到的事：跨环境泛化。Dreamer 智能体能够在单个 Atari 游戏上达到人类水平 ，但进建下一个游戏则必要从零起头。这些模型体量很。ò偻虿问考叮 ，它们做的梦是人类无法解读的抽象向量 ，还必要数千个特定工作的训练轮次。理想是对的 ，规模是错的。
线索 B：从旁观中进建（2016—2025）
与此同时 ，另一条脉络在默默地从视频中罗致知识。它分阶段演进 ，每一阶段都让视频对机械人进建更有价值。
第一阶段：用视频预测来规划（2016—2018）
Oh 等人（2015）展示了 Atari 中的作为前提视频预测。Finn 等人（2016）在伯克利将其利用于真实机械人：训练一个模型预测采取某作为后摄像头将看到什么 ，而后通过选择预测未来最靠近指标的作为来进行规划。这对单一的推物工作有效 ，但预测在几帧之后便会退化 —— 太吞吐 ，功夫跨度太短 ，无法应对复杂的操作。
第二阶段：从人类视频中进建暗示（2020—2022）
一个关键的认知转变出现了。与其直接预测视频 ，不如用人类视坡反进建可迁徙到机械人工作的视觉暗示。R3M（Nair 等 ，2022）是这一阶段的突破：一个在 Ego4D 上预训练的视觉编码器 ，Ego4D 蕴含数千幼时以第一人称拍摄的烹饪、清洁和物体操作视频。该编码器学会了将摄像头图像压缩为紧凑向量 ，捉拿物体身份、空间关系和抓取有关特点 ，同时滤去墙壁色彩和阴影等无关细节。使用 R3M 特点的 Franka 机械臂仅凭 20 次演示就学会了操作工作 ，远少于不做预训练时所需的数量。
约莫同期 ，OpenAI 的 VPT（2022）批注互联网规模的视频预训练对进建行动同样有效：一个在 7 万幼时 Minecraft YouTube 游戏视频上预训练的模型 ，仅需少量演示便能微调成能干的智能体。这是首个证明海量无标签视频可能疏导出复杂序列工作中有能力行为的系统。
EgoMimic（Kareer 等 ，ICRA 2025）将这一思路推向更远：它不再只用人类视坡反进建暗示 ，而是将第一人称人类视频作为真实的演示数据 ，同时在人类和机械人数据上结合训练统一战术。人类姿势数据将工作机能提升了 34% 到 228% ，并实现了对新物体和新场景的泛化。
但这些步骤也有天花板。更好的暗示和更多的演示数据都有援手 ，但人类视频始终只是战术的训练数据 ，而非一个你能够在其中反复操练的仿真器。
第三阶段：大规模视频天生（2022—2024）
质量的飞跃来自扩散模型在视频上的利用：Meta 的 Make-A-Video（2022）、谷歌的 Imagen Video（2022）及其后继者。扩散 Transformer 可能大规模天生高质量、功夫连贯的视频。
Sora（OpenAI ，2024 年 2 月）是那个转折点。在海量互联网视频上训练后 ，它天生了看起来遵循物理法规的画面：物体落下 ，光线散射 ，摄像机追踪得栩栩如生。谷歌的 Veo 随后以旗鼓相当的质量跟进。OpenAI 将 Sora 界说为「世界仿真器」。
但 Sora 不拥有交互性。它使用双向把稳力：所有帧同时看到所有其他帧。你无法在天生过程中注入作为。它是一部电影 ，不是一个游戏。
这整条脉络的贡献：证了然人类视频蕴含可迁徙的物理知识（R3M、VPT） ，实现了大规模真切天生（Sora、Veo） ，以及互联网规模数据带来的视觉多样性。
它在融合之前做不到的事：实时响应作为。支持机械人所需的关环：行动、看到了局、做出反映。天生以特定作为为前提的视频 ，而不仅仅是看起来合理的视频。
融合（2024—2025）
两个社区各自占有对方所缺失的器材。强化进建有作为前提化 ，但不足泛化能力；视频领域有规模和真实感 ，但没有交互性。2024 年至 2026 年间 ，一系列工作弥合了这路天堑：
Genie（DeepMind ，2024—2025）引入了潜在作为模型：一种从无标签视频中进建交互式环境的步骤。模型观察两个陆续帧 ，将「产生了什么变动」压缩成一个幼向量 ，并在无需任何人标注作为的情况下发现作为空间。Genie 1（2024 年 2 月）是一个 160×90 分辨率、1 帧每秒的概想验证。Genie 2（2024 年 12 月）扩大到真切的 720p ，连贯性可维持 10 到 60 秒。Genie 3（2025 年 8 月）达到 720p 下 24 帧每秒 ，连贯性持续数分钟 ，但它天生的是 2D 帧而非 3D 几何体 ，运行成本约为每幼时 100 美元。
UniSim（Sherry Yang 等 ，ICLR 2024 卓越论文奖）走了相反的路：它在视频世界模型内部齐全训练了一个强化进建战术 ，而后以 81% 的成功率迁徙到真实机械人上。更早的工作（SimPLe ，2020）已在 Atari 的进建视频模型内训练过强化进建 ，但 UniSim 是首个使用高质量视坡珐散模型并证明其能零样本迁徙到现实机械人的系统。
Xun Huang 团队的两项技术突破排除了渣滓阻碍。AR-DiT / CausVid（CVPR 2025）将视坡珐散模型刷新为自回归和因果的大局 —— 这是实现交互性的前提：不再同时天生所有帧 ，而是以当前作为和从前帧为前提 ，逐帧顺次天生。Self Forcing（NeurIPS 2025）随后解决了速度问题 ，将 35 步去噪压缩到 4 步 ，初次为通用视频模型实现了实时交互天生。
DreamGen（NVIDIA ，2025 年 5 月）证明视频世界模型能够用极少的真实数据解锁机械人的泛化能力。该步骤是：在少量真实机械人视频（蕴含腕部摄像头拍摄的画面）上微调视频天生模型 ，再用说话指令提醒它天活力械人执行从未做过的工作的合成视频。逆动力学模型从这些合成视频中提取电机指令 ，无需远程操控便能天生训练数据。一台仿人机械人仅凭一次抓放演示 ，便在未见过的环境中实现了 22 种新行为。这是融合能产生切实机械人价值的首个有力证据。
最终集大成者：DreamDojoDreamZero（NVIDIA ，2026 年 2 月）。
DreamDojo：一个在 44,711 幼时人类第一视角视频上预训练的视频基础模型 ，通过进建到的潜在作为空间实现作为前提化 ，经 Self Forcing 蒸馏后达到实时运行 ，可能以与真实世界了局 r=0.995 的皮尔逊有关系数评估机械人战术。DreamZero 更进一步 ，在单次前向传布中结合预测未来视频和机械人电机作为。
自 1990 年代和 2010 年代起并行发展的两条钻研传统 ，于 2024-2025 年左右起头融合。强化进建传统（蓝色）带来了行动前提化与梦乡机造 ，视频天生传统（紫色）则贡献了照片级天生能力与互联网规模的数据支持。
强化进建社区带来了作为前提化和「做梦」的概想；视频社区带来了真切天生和互联网规模的数据。这个了局在架构上师承于视频天生 ，在心灵上则传承自强化进建世界模型。
那么 ，一个世界模型到底必要什么？
并非所有视频模型都是世界模型。曾共同创作了多个此类系统所用自回归扩散架构的 Xun Huang ，提出了五条将世界模型与视频天生器分辨隔来的属性：
因果性：功夫只向前流动。双向视频天生违反了这一点 ，这是硬性约束。交互性：实时响应作为。没有这一点 ，它只是一部电影 ，而非仿真。这是硬性约束。悠久性：在较长功夫内维持连贯。当前大无数模型能维持数秒；Genie 3 能达到数分钟；能不变维持数幼时的系统尚不存在。实时性：速度快到足以满足利用需要。当前最先进水平：10—30 帧每秒。物理正确性：遵守真实世界的物理法规。这是最难实现、也最具争议的属性。
视频天生（左图）一次性天生所有帧 —— 优美但无交互性。而视频世界模型（右图）则逐帧天生 ，每帧都基于作为前提。前者如统一部电影 ，后者则是一个游戏。
因果性和交互性是二元的。没有这两者 ，你就没有世界模型。其余三条则是陆续谱系。
各大系统在五大属性上的对比：因果关系和交互性是硬性约束 ，其余三个属性则属于频谱领域。
3. 世界模型到底能做什么？
各类用例（从最成熟到最具揣摩性）
自动驾驶仿真是最成熟的利用。Wayve（GAIA 世界模型 ，12 亿美元 D 轮融资）和 Waymo 等公司一向在用进建型世界模型天生驾驶场景用于测试。评价尺度是：你能合成多样、真切的驾驶场景来压力测试你的自动驾驶战术吗？无需齐全的物理精度 ，但要有足够的视觉和行为真实感来发现边缘案例。这一利用已在出产环境中落地。
娱乐与游戏紧随其后 ，或许也是目前演示最为直观的领域。Decart 的 Oasis 是一款齐全由世界模型以 20 帧每秒实时天生的类 Minecraft 可玩游戏 ，已可试玩。Genie 3 以 24 帧每秒、720p 天生可索求的环境。GameNGen 以 20 帧每秒在神经网络上运行 DOOM。马斯克的 xAI 已颁发打算在 2026 年底前推出基于世界模型的电子游戏（尚无演示）。游戏对物理精度的要求较低：只有履历足够吸引人 ，玩家能容忍肯定水平的不真实。但服务成本依然高昂：Genie 3 的运行成本约为每幼时 100 美元。
齐全运行在神经网络上的《覆灭战士》 ，帧率超过 20 FPS（GameNGen）。
Genie 3 环境以 24 FPS、720p 分辨率实时导航。
战术评估是机械人领域近期最清澈的价值地点。DreamDojo 实现了其预测与真实世界战术成功率之间 r=0.995 的皮尔逊有关系数。在现实操作中 ，这意味着你能够在世界模型内部对 20 个候选战术进行排名 ，而不是进行 20 次昂贵的真实世界试验 ，且排名了局与现实险些齐全吻合。这将世界模型造成了一个测试环境 —— 机械人行为的单元测试。
合成训练数据天生远景可期 ，但边际价值尚不爽朗。DreamGen（NVIDIA ，2025）展示了一台仿人机械人仅凭一次远程操控演示 ，在视频世界模型天生的合成数据援手下 ，便在未见过的环境中实现了 22 种新行为。但即就是构建这些系统的钻研人员也认可 ，这种改进并不显著：有所提升 ，但远未达到该领域所进展的飞跃。问题在于 ，合成视频数据所提供的信号 ，是否真的超过了更多远程操控数据或更好的数据加强所能带来的收益。
样本高效进建在受控环境中得到了验证。DayDreamer（2022）展示了一个四足机械人在一幼时的真实世界交互中从零学会行走 ，由于 Dreamer 世界模型可能在每次真实尝试之间设想出数千次操练。但这一点尚未在出产环境中大规模验证。
直接机械人节造是最斗胆的主张 ，也是最不足验证的领域。DreamZero 在单次前向传布中结合预测未来视频和电机作为 ，并汇报称比 VLA 基准有 2 倍的泛化提升。但这只是一篇论文 ，来自构建该系统的团队自身 ，尚无独立复现。与此同时 ，VLA 在急剧迭代：Pi-0.5（2025 年 9 月）泛化到未见过的家庭环境 ，Pi-0.6（2025 年 11 月）参与了基于强化进建的自我改进 ，Pi-0.7（2026 年 4 月）通过组合所学技术来解决新工作。险些每几个月就有一个新版本 ，能力持续提升。纯 VLA 步骤更简洁 ，目前也更经过实战检验 ，但正如我们将看到的 ，「VLA」和「世界模型」之间的界限在起头吞吐。
更宏观的图景：机械人 AI 比表象上更早期
恳切的框架并非「VLA 有效 ，世界模型无效」 ，而是整个机械人 AI 领域比 100 亿美元的融资规模所出现的越发早期。导航和受限的仓库拣选工作能够靠得住运行。烹饪演示在受控尝试室中有效 ，必要数十次特定工作的演示（ALOHA/Sunday 以 50 次演示在炒虾工作上达到 90% 成功率） ，但每路新菜都必要新的演示。无论选取何种步骤 ，通用家庭操作、家具组装以及必要丰硕接触感的灵巧操作工作对所有人来说都仍是未解难题。
更深层的问题连绵于 VLA 和世界模型之间。迁徙险些从未被系统验证 ，始终不应被想当然地如果。两种步骤都只依赖视觉 ，缺失了触觉、力反馈和本体感触 ，而这些对操作至关沉要。尺度训练数据集（如 Open X-Embodiment）存在严沉的质量和多样性问题。仿真基准靠近鼓和 ，而真实世界的零样本机能则远远落后。
与此同时 ，VLA 步骤并未留步。Physical Intelligence 的 Pi-0.7（2026 年 4 月）展示了组合泛化能力 ，将分歧工作的技术组合起来解决新问题 ，它能操作一个从未见过的空气炸锅 ，步骤是融合有关训练经验的碎片。值妥贴心的是 ，Pi-0.7 自身也是混合体：它依赖一个轻量级世界模型（基于 BAGEL 图像天生骨干）天生子指标图像 ，以规划多阶段工作。即就是当今当先的 VLA ，也整合了一个世界模型组件。两种步骤并非真在竞争 —— 它们在融合。
问题不是哪种步骤在赢。而是任何一种步骤是否已经足够靠近通用操作 ，使得扩大规模就能实现剩下的旅程。世界模型社区的具体押注是：对于最难的渣滓工作 ，理解动力学（通过视频预测）将至关沉要 ，由于单靠从演示中模式匹配是不够的。这个押注看起来有理 ，只是回报的功夫线尚不确定。
4. 百亿美元的赌注
从前 18 个月 ，超过 100 亿美元流入了世界模型和机械人 AI 公司。本钱的走向通知你行业真正所处的地位 ，而非论文所描述的应有地位。
超百亿美元的世界模型格局。气泡大幼代表总融资额。紫色：世界模型公司。蓝色框线：平台类企业。
资金散布在四个档次。
纯世界模型公司 ，构建仿真器自身（AMI Labs 10.3 亿美元、World Labs 12.3 亿美元、Runway 8.6 亿美元以上、Rhoda 4.5 亿美元、Decart 1.53 亿美元、Embo 1 亿美元以上）；将世界模型作为组件的机械人基础模型公司（Skild 18.3 亿美元、Physical Intelligence 11 亿美元以上、Figure 20 亿美元以上、Mind Robotics 6.15 亿美元）；构建并开源基础设施的平台（NVIDIA、Google DeepMind）；大型科技公司的转型（OpenAI 后 Sora 时期的机械人业务、特斯拉、xAI）。
一个值得关注的法规：使用世界模型的公司比构建世界模型的公司融资更多。这要么意味着世界模型层相对于其沉要性被低估了 ，要么意味着最大的机械人公司将在内部自建这一能力。1X Technologies 已经这么做了。
NVIDIA：那头 800 磅的大猩猩
这一领域最沉要的战术动向并非来自某家草创公司 ，而是 NVIDIA—— 它在构建齐全的物理 AI 技术栈 ，并将其全数开源。
英伟达的物理 AI 技术栈：每个层级均以 Apache 2.0 和谈开源。但 DreamZero 仅能在 Blackwell GB200 硬件上实现实时运行。CUDA 开发范式被利用于机械人领域。
这个技术栈从 Cosmos Predict 2.5（视频基础模型 ，140 亿参数 ，2 亿视频片段）起头 ，经由 DreamDojo（作为前提世界模型 ，4.4 万幼时人类视频 ，战术评估 r=0.995） ，再到 DreamZero（视频与作为结合预测 ，在未见工作上零样本泛化） ，经过 EgoScale（缩放定律：人类视频时长与机械人机能之间 R?=0.9983） ，直至 GR00T N2（产品化的机械人大脑 ，打算于 2026 年底推出）。每一层均以 Apache 2.0 许可证开源。
这个战术是为物理 AI 打造的「CUDA」：免费提供软件 ，销售硬件。DreamZero 以 7Hz 运行 ，但只能在 Blackwell GB200 上实现 ，在 H100 上无法达到实时。若是每家机械人公司都在这个技术栈上构建 ，它们就都必要 Blackwell。
对于那些构建纯正世界模型的草创公司而言 ，这是生死攸关的威胁。DreamDojo 免费 ，且在 4.4 万幼时视频上实现训练。「我们构建了一个世界模型」不再是护城河。差距化必须来自 NVIDIA 所没有的领域专属数据、更快的推理速度 ，或者垂止佧合到一个超过单纯模型的产品中。
JEPA 的逆向押注
并非所有人都在构建视频世界模型。Yann LeCun 和谢赛宁正通过 AMI Labs（10.3 亿美元 ，欧洲有史以来最大的种子轮融资）押注一个反向逻辑。他们的论点是：预测像素在底子上是一种浪费 —— 大无数像素级细节与理解动力学无关。JEPA（结合嵌入预测架构）将观测编码为抽象暗示 ，而后直接预测未来的暗示 ，从不天生视频。与使用像素沉建作为训练信号的 Dreamer 分歧 ，JEPA 齐全回避了沉建。
JEPA 架构示意图：结合嵌入预测架构（JEPA）蕴含两个编码分支。第一个分支推算 x 的暗示 sx ，第二个分支推算 y 的暗示 sy。两个编码器无需齐全一样。一个预测？榻柚痹诒淞 z ，从 sx 预测 sy。能量即为预测误差。JEPA 的单一变体能够：不使用预测器（强造两个暗示相称）、使用无潜在变量的固定预测器 ，或使用如离散变量等单一潜在变量。
V-JEPA 2 在 LeCun 去职之前于 Meta 开发 ，在超过一百万幼时的互联网视频上预训练 ，而后仅在 62 幼时的机械人数据上微调 ，在无需天生单帧视频的情况下 ，对抓放工作实现了 80% 的零样本成功率。AMI Labs 此刻有 10 亿美元来检验抽象预测是否优于像素预测。辩驳的声音是：像素级预测或许能捉拿到抽象暗示所遗漏的物理细节 ，并且你能够观察视频模型以为将会产生什么 ——JEPA 的预测是人类无法解读的抽象向量。
我们看到的机遇
NVIDIA 的开源技术栈向这一领域的所有人提出了一个真实的问题：什么是可防御的？我们以为存在几种分歧类型的机遇 ，每种都有分歧的押注和分歧的功夫跨度。
前沿横向世界模型。最斗胆的押注：构建比 NVIDIA 更好的通用世界模型。AMI Labs 在用 JEPA 走这条路 ，在抽象暗示空间中进行预测；Embo 则秉持着来自 Dreamer 谱系的分歧架构哲学；Dream Labs（由来自 NVIDIA GEAR 尝试室的 Joel Jang 缔造）在 DreamGen 和 DreamDojo 的工作路线上持续推动。Cosmos 和 DreamDojo 是一个新品类的初版。架构上的弯路超车是存在空间的 ，就像 OpenAI 在 DeepMind 多年早期工作之后构建出了 ChatGPT 一样。
垂直专属世界模型。NVIDIA 的技术栈是通用的。一家专门为表科机械人、仓库操作或食品造备构建世界模型的公司 ，凭借来自现实部署的专罕见据 ，或许可能构筑通用模型无法比力的护城河。类比：彭博终端 vs.ChatGPT。两者都处置说话 ，但彭博的行业数据和工作流整合使其对金融专业人士不成代替。这一蹊径能否成功 ，取决于领域专属的动力学差距有多大 —— 表科手术的接触力和仓库拣选的确是通用视频模型或许无法精准捉拿的分歧物理系统。
基础设施层的工具提供商。推理基础设施、评估平台、仿真到现实的迁徙工具、第一视角视频的数据管线。这些比「我们构建了一个世界模型」听起来浮夸无华 ，但解决的是真实的痛点：Genie 3 每幼时运行成本约 100 美元 ，Odyssey 每位用户必要一台齐全的 H200 ，视频模型的服务成本在结构上居高不下。解决这些问题的公司可能在整个生态系统中获取价值。风险在于：NVIDIA 掌控着硬件 ，而推理优化是一个急剧演进的钻研领域 ，很快会被开源吸收。
「产品内置世界模型」路线。对于这类公司 ，世界模型是垂止佧合机械人产品的一个组件 ，而非产品自身。最终客户为了局付费（叠好的衣物、分拣好的包裹、冲好的咖啡） ，而不是为推理付费。模型是伎俩 ，机械人做有效的工作才是产品。这是大无数现有机械人公司所走的路（1X 自建了世界模型 ，Figure 和 Skild 整合了 Cosmos） ，但新进入者必要同时面对硬件、软件和市场拓展三沉挑战。
NVIDIA GEAR 尝试室主任 Jim Fan 为在产生的所有起了个名字：大平行（The Great Parallel）；等肆煊蛟谥鸩礁丛 LLM 的发展剧本。世界模型是预训练阶段 —— 进建仿真下一个物理状态 ，就像 GPT 进建预测下一个 token。作为微调将这种仿真折叠到对真实机械人真正沉要的那一薄片上。强化进建走完最后一英里。这套三步配方 ，用了六年功夫将 LLM 从 GPT-3 带向了 o1。
若是这个平行成立 ，那么我们已经占有的这些系统：能在一幼时内学会行走的机械人、能够在其中导航的视频模型、以 r=0.995 匹配真实世界了局的预测；这就是物理 AI 的 GPT-2。这所有三年前都不存在。两条别离发展了数十年的钻研脉络已经融合为真正的新事物：可能设想物理未来、实时响应作为、并将人类视频中的知识迁徙到机械人上的机械。
这个赌注能否兑现 ，取决于「梦见世界」对于最难的操作工作是否真的沉要 —— 那些光看足够多的例子还不够、必要预测推、拉、旋转时会产生什么的工作。我们以为它会。功夫线比 100 亿美元所暗示的更不确定。
但借用 Jim Fan 的话来说：我们这一代人 ，生得太晚 ，错过了索求地球的时期；生得太早 ，又赶不上索求星际的时期。但我们或许刚好赶上了 —— 教会机械将物理世界梦入现实的时期。
参考文件
Schmidhuber, J. (1990). Making the World Differentiable. Technical Report FKI-126-90, TU Munich.Craik, K. (1943). The Nature of Explanation. Cambridge University Press.Oh, J. et al. (2015). Action-Conditional Video Prediction using Deep Networks in Atari Games. NeurIPS 2015.Finn, C., Goodfellow, I. & Levine, S. (2016). Unsupervised Learning for Physical Interaction through Video Prediction. NeurIPS 2016.Ha, D. & Schmidhuber, J. (2018). World Models. NeurIPS 2018. Interactive demos: worldmodels.github.io.Hafner, D. et al. (2019). Learning Latent Dynamics for Planning from Pixels. ICML 2019. (PlaNet)Schrittwieser, J. et al. (2020). Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. Nature. (MuZero)Hafner, D. et al. (2020). Dream to Control: Learning Behaviors by Latent Imagination. ICLR 2020. (Dreamer V1)Hafner, D. et al. (2021). Mastering Atari with Discrete World Models. ICLR 2021. (DreamerV2)Nair, S. et al. (2022). R3M: A Universal Visual Representation for Robot Manipulation. CoRL 2022.Kareer, S. et al. (2025). EgoMimic: Scaling Imitation Learning via Egocentric Video. ICRA 2025.Baker, B. et al. (2022). Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos. NeurIPS 2022.Wu, P. et al. (2022). DayDreamer: World Models for Physical Robot Learning. CoRL 2022. Project: danijar.com/project/daydreamer.LeCun, Y. (2022). A Path Towards Autonomous Machine Intelligence. OpenReview.Hafner, D. et al. (2025). Mastering Diverse Domains through World Models. Nature. (DreamerV3)Bruce, J. et al. (2024). Genie: Generative Interactive Environments. ICML 2024. (Genie 1)Yang, S. et al. (2024). Learning Interactive Real-World Simulators. ICLR 2024 Outstanding Paper. (UniSim). Project: universal-simulator.github.io/unisim.Valevski, D. et al. (2024). Diffusion Models Are Real-Time Game Engines. (GameNGen). Project: gamengen.github.io.Yin, T., Huang, X. et al. (2025). From Slow Bidirectional to Fast Autoregressive Video Diffusion Models. CVPR 2025. (AR-DiT / CausVid)Huang, X. et al. (2025). Self Forcing. NeurIPS 2025.Hafner, D. & Yan, W. (2025). Training Agents Inside of Scalable World Models. (Dreamer 4)Jang, J. et al. (2025). DreamGen: Unlocking Generalization in Robot Learning through Video World Models. CoRL 2025.Gao, S., Liang, W. et al. (2026). DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos. Project: dreamdojo-world.github.io.Ye, S., Ge, Y. et al. (2026). DreamZero: World Action Models as Zero-shot Policies. Project: dreamzero0.github.io.Zheng, K., Niu, D. et al. (2026). EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data.Physical Intelligence. (2025). Pi-0.5: a Vision-Language-Action Model with Open-World Generalization.
@王佳仪：黄金软件app下载 ，浙江广厦CBA总决赛能成功卫冕吗@林家儒：表交部回应普京最新涉华表态
@吴雅惠：辽宁颁布高丛林火险预警