先看证据

8B、70B 权重于2026年7月24日按 Apache 2.0 发布关键事实
8B 新增4万亿训练 token关键事实
8B 累计训练量为19万亿 token关键事实
70B 新增2万亿训练 token关键事实
70B 累计训练量为17万亿 token关键事实
上下文262,144 token,为1.0的4倍关键事实

一次扩展,而不是另起炉灶

Swiss AI Initiative于2026年7月24日发布Apertus 1.5的8B和70B权重,采用Apache 2.0许可。它面向的不是单一新任务,而是在Apertus 1.0基础上扩展图像与音频理解、可选思考模式、更长上下文、指令遵循和工具使用。项目参与方包括ETH Zurich、EPFL和瑞士国家超级计算中心CSCS,发布方将其定位为开放、透明、可由机构自行采用的AI基础设施。

理解这次发布,关键是不要把功能清单误读成模型换代。主体架构保持不变,更新通过继续预训练和多阶段后训练完成。这个选择把问题从“新架构能做什么”转向“在不重建模型的情况下,如何把新输入模态和更长任务接进原有系统”,也让开放数据与训练流程成为产品能力的一部分。

图像和声音进入同一条序列

Apertus 1.5采用early fusion:图像和音频先由各自的tokenizer编码成离散token,再与文本token放进同一序列。图像使用Emu3.5 tokenizer,音频使用WavTokenizer;模型不是另接一个独立视觉编码器。发布方称,词表扩展后主体架构仍然不变,训练可以维持文本模型的速度,但模型的生成端仍只输出文本,不能生成图像或音频。

这个设计让多模态输入进入模型的方式更统一,但也把不同模态的成本放进同一本上下文账本。发布说明给出的量级是:一张512×512图像编码为1,024个token,音频约为每秒40个token。因而,长文档、图片和录音并不是各自拥有独立容量,混合输入会共同占用序列空间;语音理解本身也仍被标为实验性能力。

长上下文不是免费的多模态容量

Apertus 1.5的上下文窗口为262,144 tokens,是Apertus 1.0的4倍。这个数字对需要同时提交长文档、图表和语音材料的工作流有实际吸引力,但它不能直接等同于模型能同等可靠地理解这么多多模态内容。图像和音频已经占用token预算,输入越混合,可留给文本和后续材料的空间就越少。

上下文能力也不是只靠把上限改大就能保住。项目称,继续预训练分阶段加入未配对的文本、图像和音频,再加入图文与音频转写配对数据,随后提高数学、代码数据质量,并逐步把窗口从8k扩展到262k。后训练还专门增加了全窗口长度的长上下文SFT,因为较短上下文的SFT可能削弱模型对长输入的能力。这意味着部署评估应覆盖真实输入长度和模态组合,而不应只检查模型卡上的最大窗口。

训练流程开放,复现仍有层次

这不是从零训练的新模型,而是Apertus 1.0上的继续预训练。8B版本新增4万亿训练token,累计19万亿;70B版本新增2万亿,累计17万亿。超过一半的训练token仍是纯文本,项目称这是为了保留上一代的语言能力。训练数据加入FineWeb2-HQ+、FinePDFs和Nemotron-CC等来源,发布方表示新数据需公开可用、许可宽松,并追溯尊重robots.txt退出请求。

后训练依次包括SFT、长上下文SFT、可验证奖励强化学习(RLVR)、DPO和Charter对齐(SDPO)。SFT使用370万条文本样本,并加入图像与语音数据;RLVR使用约35万条涵盖数学、代码、指令、多语言和视觉任务的提示,工具使用数据则限于执行验证过的轨迹。项目还公开了数据来源目录、文本SFT混合数据以及偏好训练相关材料。不过,公开来源、部分训练集和训练细节,并不自动等于所有数据都可下载,也不意味着任何机构都能以相同资源完整复现训练。

思考模式与评测都需要具体场景

思考模式不是另一套独立模型,而是通过chat template中的标记切换的配置。因此,“支持思考”不意味着每次回答都会自动启用这一路径,产品集成时需要明确控制模板与调用方式。项目技术报告称,8B模型在数学推理评测中的成绩最高提升20分,但现有材料没有给出具体基准、设置和分数变化的完整细节,这个数字不宜外推为所有推理任务的提升幅度。

发布方还称,Apertus 1.5 8B在Last Translation Benchmark上的翻译能力匹配GPT-OSS-20B,并优于Claude Haiku 4.5和Google Translate;材料没有列出具体分数或测试条件。对技术负责人来说,这类结果可以作为挑选本地验证任务的线索,不能代替自己的评测。更稳妥的判断是:若团队需要可审查的数据来源、开放权重和可接入图像与音频的模型,Apertus 1.5值得进入候选清单;若任务依赖稳定的语音理解、生成多模态内容,或要求已证实的前沿表现,现有材料不足以支持直接采用。