Runway以研究预览展示GWM Worlds 2实时音视频世界与交互控制

报道讲了什么

• Runway 发布了 GWM Worlds 2，一个实时交互式世界模型，能生成连续720p视频（24fps）和48kHz音频，并响应用户输入。
• 该模型基于 WorldPrompt 格式，将世界状态分为持久上下文（场景、主体、规则）和时间戳事件流（动作、相机输入）。
• 模型通过后训练将双向模型转为自回归模型，支持无限时长生成，并采用滑动窗口 KV 缓存和因果解码器加速。

可以做什么

• 支持第一人称和第三人称导航，如行走、驾驶、骑行，相机和主体可独立控制。
• 可对主体和场景下达任意文本动作，如奔跑、攀爬、开关灯、舞台起火等。
• 角色能进行对话，控制语音、语调和语言，并生成匹配的唇动和表达。

怎么使用

1. 定义环境、主体、视觉风格、物理规则和氛围，编写 genesis prompt 和第一帧。
2. 通过文本动作（针对主体或场景）和连续相机运动来操控世界。
3. 在实时演示中，将常用动作绑定到按键和鼠标输入，以快速触发预置提示。

结果与限制

• 实时模式下，模型需自行生成细节，缺乏锚点，导致质量不如提前编写动作的方式。
• 实时场景要求文本低延迟可用，用户打字太慢，VLM 也无法在几十毫秒内反应。
• 模型仍处于研究预览阶段，未提及生产就绪或替代现有工具。

使用入口与依据