东谈主类离电影《黑客帝国》的场景，似乎又近了一步。

因为就在刚刚，一个与电影同名的、首个 AI 基础寰球模拟器——The Matrix问世。

它还是不错兑现生成无尽长、高保真720p信得过场景视频，何况如故不错及时交互的那种！

话未几说，径直来看一个长达14 分钟的服从：

而这个时长还仅仅 demo 展示的长度，The Matrix 不错作念到在长达 1 个小时的时刻里，穿梭沙漠、草原、水体和城市等景不雅。

在此时间，还不错通过按键 W（前）、S（后）、A（左）和 D（右）来及时末端——

每秒 16 帧，帧帧可控。

The Matrix 面目是由全华东谈主团队打造，作家分歧来自阿里巴巴、香港大学、滑铁卢大学和加拿大 AI 商量机构 Vector Insititute。

而之是以团队将商量取名为 The Matrix，是因为其服从和实践与电影《黑客帝国》中的一句话相通：

这是你熟习的寰球；这是 20 世纪末的寰球。它咫尺只存在于咱们称之为 Matrix 的神经交互模拟系统中。

This is the world that you know; the world as it was at the end of the 20th century. It exists now only as part of a neural-interactive simulation that we call the Matrix.

网友们看罢，斟酌区还是一派" crazy "、" amazing "的声息：

但除了无尽生成、服从传神和及时可控除外，The Matrix 还解锁了一项智力。

零样本，就不错径直泛化

The Matrix 的考研数据主要由两部分构成。

率先是通过像《极限竞速：地平线》和《赛博一又克 2077》这么的 3A 游戏的监督数据来进行考研；其次再辅以多数的现实寰球场景（如东京街头）的无监督视频。

而与以往商量不同的是，The Matrix 不错在莫得上述数据学习的情况下（零样本），不错贯穿和揣测不同环境中物体的行为和交互。

举例底下这个"良马 X3 在办公环境中行驶"的场景，这是在游戏数据和现实寰球数据中齐未出现过的环境：

再如"车在水里游水"：

The Matrix 还辅助以第一视角的形式来看寰球：

就连信得过寰球中的物体，以致东谈主物，齐是可控的：

从实验覆没上来看，与近期主流的游戏仿真生成模子比拟，无论是时长如故服从等，The Matrix 齐还是达到了跳动的服从：

怎样作念到的？

从技艺角度来看，The Matrix 的中枢由三大模块构成。

率先是交互模块 （Interactive Module）。

这个模块用于贯穿用户的输入（如键盘输入）并将其整合到视频生成中，兑现帧级别的精准末端。

为了增强模子的交互性，商量东谈主员对一个预考研的 Diffusion Transformer ( DiT ) 模子进行调优，使得交互模块不仅概况应答已知数据，还能泛化到无标签的数据。

其次是移窗去噪历程模子  （Shift-Window Denoising Process Model, Swin-DPM）。

这个新颖的扩散模子通过使用滑动的时刻窗口来处理永劫刻依赖筹商，从而兑现无尽长视频的生成。

该模子概况以一语气、平滑的形式生成视频，惩处了传统模子在长序列生成时遭受的挂念瓶颈。

终末是流一致性模子 （Stream Consistency Model, SCM）。

为了兑现及时生成，The Matrix 集成了一种名为流一致性模子的技艺，使得推理速率加速 10-20 倍，最终兑现 8-16 FPS 的及时生成速率。

此外，商量东谈主员还成就了一个名为GameData的平台，用于自动拿获游戏中的景况数据和视频帧，并生成标注的当作帧数据集。

这个数据迷惑合了信得过寰球的视频数据，既匡助模子学习具体当作末端，又增强了模子的视觉质料和域泛化智力。

团队先容

正如咱们刚才提到的，The Matrix 的作家均为华东谈主。

其中，面目追究东谈主主要是两位，分歧是 Hongyang Zhang 和 Ruili Feng。

Hongyang Zhang 咫尺是滑铁卢大学的助理磨真金不怕火，指挥 SafeAI Lab；其主要商量主见包括基础模子的商量。

另一位则是来自阿里巴巴的 Ruili Feng。

如若全球对商量感兴味，可戳下方贯串搜检服气。

参考贯串：

[ 1 ] https://thematrix1999.github.io/

[ 2 ] https://thematrix1999.github.io/article/the_matrix.pdf

[ 3 ] https://x.com/hongyangzh/status/1859288829825515810

[ 4 ] https://x.com/SmokeAwayyy/status/1859369842647892325开云(中国)Kaiyun·官方网站 - 登录入口