先看证据
把机制串起来
世界模型先把视频压成潜变量,再在潜变量里预测未来,最后解码回画面;因此自编码器不只是画质工具,也决定每帧计算量和动作多久能反映出来。压缩规格τ×s×s中,τ是每个潜变量覆盖的帧数,s是空间压缩倍数:τ越大,动作越要等帧组收齐。FVD衡量生成视频的时序分布、越低越好;ARR用冻结的逆动力学探针衡量动作是否能从生成视频中恢复,越接近1越像真实视频。
编码器先用冻结的DINOv3逐帧抽取patch特征,再用一个可训练的3D卷积瓶颈压到64通道;七个版本主要改变瓶颈的时空压缩配置,避免为每种配置重做整套编码器。解码器是24层因果扩散Transformer,按帧块流式输出,因果结构让后续帧不必等待整段视频完成。渐进式自蒸馏在单阶段训练中教解码器用一步或两步逼近多步扩散结果,不依赖对抗损失,以减少推理延迟并保留细节。总延迟约由τ/f的帧组等待、世界模型生成和解码组成,因此压大τ省算力却拖慢动作响应,压大s则可能损伤空间细节与运动
['机器人操控优先低τ,减少动作等待。', '移动相机导航保留帧;过粗空间token会伤运动。', '单H100可运行;复现需核对分辨率、精度与解码步数。', 'ARR低时别只看FVD或FID,须单测动作跟随。']
延迟藏在视频压缩里
Kyutai发布了CADRE(Causal Diffusion Representation Autoencoders),一组面向交互式世界模型的开放视频自编码器。它要解决的不是离线生成视频够不够漂亮,而是模型接到动作后,能不能及时把动作反映到下一段画面里。
这一区别很容易被架构图掩盖。世界模型通常先把视频编码成潜变量,再在潜变量空间预测未来;若编码器把多帧合并成一个潜变量,系统就得等这一组帧收齐,动作才能进入后续生成。按论文的例子,在20 fps下,一个潜变量覆盖8帧,光等待帧组就要400毫秒,而论文援引的研究指出,人可能在自身动作延迟超过约230毫秒时察觉滞后。
把压缩率变成延迟旋钮
CADRE用τ×s×s表示压缩配置:τ是一个潜变量覆盖的帧数,s是空间压缩因子。τ越大,世界模型要处理的潜变量越少,计算负担可能下降,但每次动作也要等更长的帧组;空间压缩则决定每帧留下多少细节。延迟因此不只是模型推理速度的问题,还包含帧组等待、生成和解码时间。
编码端先用冻结的DINOv3逐帧提取特征,再由训练得到的瓶颈层压缩成64通道潜变量。七个版本主要通过改变这个瓶颈的时空配置形成,包括1×48×48、2×32×32、4×24×24、8×16×16,以及1×16×16、2×16×16和4×16×16。解码端采用24层因果扩散Transformer,按帧组流式输出,并通过渐进式自蒸馏训练为一步或两步解码。
速度数字必须连着配置读
论文把同一个1.2B参数因果扩散世界模型放到不同自编码器上比较,测试覆盖机器人操作、人的手部操作、驾驶和室内导航。每次rollout先输入2秒真实视频,再按动作生成4.8秒视频;测试视频统一为20 fps、288×512。这样的对照让自编码器的压缩方式成为主要变量,但结论仍然属于这些任务和这套模型组合。
在单张H100、bf16、batch 1条件下,CADRE的2×32×32配置一步解码报告为185毫秒动作延迟、最高23.4 fps;2×16×16为216毫秒、17.3 fps。后者延迟仍低于约230毫秒的参考值,但并没有达到20 fps。因此“20 fps且低于230毫秒”不能被理解为每个配置都同时满足,比较速度时必须连同压缩设置、解码步数和硬件一起看。
静态画质好,不代表动作跟得上
CADRE的结果显示,压缩误差不会平均落在所有指标上。驾驶场景中,2×16×16配置的FVD为162.6,低于Wan 2.2的599.7;但在机器人操作中,同一配置的动作跟随指标ARR为0.73,低于Wan 2.2的0.85。ARR越接近1,表示越容易从生成视频中恢复出真实动作。一个模型可以在未来画面的整体运动分布上表现更好,却仍然更难忠实呈现具体操作。
论文还指出,摄像机运动会改变压缩的合适方向:相机较静止时,时间压缩更容易承受;移动相机的场景则更适合少合并帧、更多压缩空间信息。空间token过粗时,运动质量可能先于静态画面质量变差。在机器人操作中,空间压缩从16倍加到32倍,FVD会变为原来的约2.4倍,而FID变化很小。这提醒团队不要用单帧观感替代对动作因果关系的评估。
选型要看交互任务,不只看重建
CADRE最有用的证据不是一个孤立的速度纪录,而是它把延迟、画面质量和动作跟随放在同一套世界模型评测里比较。论文称,在48项与MIRA、Wan 2.2、Cosmos和LTX-2的比较中,CADRE多数时候处于延迟—质量前沿;同时,研究也报告了机器人操作上的ARR短板。这比“更快且更清晰”一类笼统结论更适合指导系统设计。
但评测边界同样重要。自编码器训练数据约为7.6万小时、来自23个公开视频来源,世界模型测试则集中在四类环境;单张H100上的结果不能直接代表其他硬件、批量或量化部署。重建质量也不是rollout质量的替身:例如OpenVid-HD重建测试中,CADRE 2×16×16的PSNR为25.12 dB,Wan 2.2为35.02 dB,这一差异不能直接推导出谁的交互动作更可靠。落地时应先按摄像机运动和动作容错选取配置,再用目标任务检查端到端延迟与ARR,而不是先选最高压缩率。