Runway 押注,只要让模型海量看视频、学会预测下一帧,同一个底座就能同时支撑机器人、界面和操作系统。

过去六周,Runway 接连发布了多款新东西:实时生成界面的 Solaris、开源机器人模型 Praxis-1,还有操作系统预览 Continuum。
这些看似分散,背后是同一个赌注。核心是:模型像婴儿一样靠看来学。视频里藏着动作、物体和物理规律,比文字更接近世界本身,而且几乎取之不尽。
同一个底座,换个出口
做法是先用海量视频训练一个底座,让它学会预测下一帧画面。再把用户的点击、拖拽或机器人的动作当作输入,它就从视频生成器变成了能模拟世界的模型。
Solaris 把它用在界面上:不再写代码渲染按钮,而是逐帧画出来,拖动鼠标就实时变化。Praxis-1 用的是同一套底座,只是动作换成了机械手该去的位置。
机器人最缺的是数据,真人遥控机械臂采集一条操作既贵又慢。Runway 的测试显示,用网络视频预训练的模型,只需约 30 分钟机器人数据就能微调。
放东西的最终误差,网络视频训练的是 16.1 厘米,机器人遥操作视频训练的是 16.0 厘米,几乎打平。这说明普通视频里的知识能迁移到机器人身上。
押注能不能兑现
原文承认的难处不少:文字渲染还不稳定,长时间会话容易漂移,逐帧生成也比普通应用贵。Runway 估计视频模型落后语言模型一两年,算力需求可能还会超过大语言模型。
商业上,公司一边卖广告和影视工具,一边用收入补贴研究,称一个季度新增年经常性收入超过 1 亿美元。
说到底,Runway 赌的是:看够了世界的模型,能顶替很多专用模型。赌赢了,界面、机器人和影视会是同一个底座的几种用法;赌输了,它只是一家做得不错的视频公司。
为什么值得读
如果同一个视频模型既能当机器人的大脑,又能当界面的渲染层,做生成工具和做机器人的公司之间的边界就会消失。竞争比的就不再是某个功能,而是谁的底座先看够了世界。
从全球优质信息源中筛选,几分钟了解当天最值得关注的观点。