先看证据
把机制串起来
零样本克隆是给模型一段参考音频及其文本，让它不经针对该说话人的微调，就用相近音色读新文本；音色像不像，不等于语气和停顿像不像。WER（中文等语种常用CER）看转写错误，SIM看说话人相似度，两者都不能单独说明语音听起来自然。离散音频码本则把声音压成一串编码，模型预测这些编码后再由音频编解码器还原成波形。
慢分支基于 Qwen2.5 0.5B，24层、宽度896，按约21.5帧/秒逐帧预测文本与第一个音频码本；4层快分支再并行预测同一帧其余9个码本。这样把串行计算压在帧级，避免10个码本都依次生成，但仍需逐帧解码，且编解码器开销不计入601M主模型参数。训练先做多语言SFT，再用GRPO优化WER与SIM，奖励权重为0.7比0.3；最后再用真实感critic引导韵律自然度。critic以6个开源TTS系统的盲听排序构造质量阶梯，并将同句人类录音作为高质量参照；身份擦除目标试图避
['适合低成本多语种克隆、可自行微调或部署的场景', '先用目标语种实测；泰语、粤语需重点验收', '不能只看WER与SIM，需人工听停顿、节奏和韵律', 'CUDA优先；公开Realistic ONNX导出尚不可用']
把话说对，不等于把声音说自然
Edge0发布了Audio8-TTS-Realistic，这是一个面向零样本声音克隆的开放权重文本转语音模型。给它一段参考音频及对应文本，模型就能尝试生成听起来像同一说话人的语音；它有6.01亿主模型参数，支持23种语言，代码和权重采用Apache 2.0许可。它是Audio8-TTS-Preview-0.6B的后续版本，保留原有推理接口，并把语言覆盖从11种扩展到23种。
这次更新的核心问题不只是“能不能克隆”，而是克隆出来的语音是否像人自然地说话。词错率（WER）或字符错率（CER）衡量内容是否说对，说话人相似度（SIM）衡量音色是否接近参考音频，但它们都不能直接评价停顿、节奏和韵律。一个系统可以把字念对，也能模仿音色，却仍然让人听出合成感。Edge0把这块评估盲区转成了训练目标，因此这次发布值得从机制而不只是模型大小来理解。
双自回归把逐步计算留在帧级
Audio8-TTS-Realistic采用受Fish Audio S2 Pro启发的DualAR结构。慢分支基于Qwen2.5 0.5B，包含24层、宽度为896，按报告约以每秒21.5帧运行。它逐帧预测文本token和第一个音频码本；随后，一个浅层的4层快分支并行预测该帧剩余的9个码本。换言之，模型没有把所有音频表示都放进同一条逐token的串行路径里，主要的顺序计算发生在帧级，帧内其他码本则由快分支并行补齐。
主模型参数为601,159,424，不包含单独计算的音频编解码器。模型上下文上限是2,048个打包文本与音频位置，仓库还提供44.1 kHz神经音频编解码器、分词器和处理器。按材料给出的配置，每帧对应2,048个采样点，10个码本各有4,096个条目。这些信息能帮助工程团队理解模型怎样组织文本与音频生成，却不能直接推导每秒可服务多少请求，也不能证明其端到端延迟或显存占用适合某个生产负载。
学习“真实感”要先定义评分器看什么
训练分成三个阶段，体现了Edge0对听感目标的处理顺序。模型先接受多语言监督微调（SFT），再用GRPO结合WER与SIM进行优化，两种奖励的权重分别为0.7和0.3。最后一轮GRPO不再只看识别正确率和音色相似度，而是引入一个学习得到的realism critic，尝试把韵律自然度也变成可以推动模型更新的信号。这不是简单地给模型加一个“自然”标签，而是先要构造一个能比较语音质量的评分器。
据技术报告，critic的训练材料来自6个开源TTS系统生成的同句语音，并通过一项内部盲听研究建立质量阶梯，人类录音排在最高档。系统还加入合成停顿压缩样本，让质量阶梯有更细的层级。critic并非输出脱离参照的绝对自然度，而是将候选语音与对应的人类录音作比较。它以冻结的WavLM-large编码器为基础，附加约300万参数的评分头，训练中还使用身份擦除目标，以降低评分器仅凭某个生成器的特征辨认来源、而非判断听感质量的风险。
奖励改善了平均分，也留下语言间落差
技术报告给出的阶段数据支持“realism目标带来了增益”，但增益的大小和适用范围需要分开看。在CV3的九种语言上，平均错误率从SFT后的5.41%，经WER/SIM优化后的5.01%，进一步降至realism阶段后的4.86%；平均SIM从0.639升至0.661。另有13种语言的汇总结果中，错误率由22.53%降至20.77%，SIM从0.637升至0.679。报告特别指出，最后的realism阶段只使用中文和英文提示文本，却在这13种语言的汇总指标上也有改善。这说明训练信号可能具有跨语言迁移价值，但并不等于所有语言都获得相同幅度的收益。
单语言结果恰好提醒团队不要只读平均值。材料列出的CV3泰语WER为48.574%，MiniMax测试中的粤语CER为31.349%，明显提示不同语言的表现并不均匀。CV3结果还显示，Realistic的九语平均错误率为4.86%，低于Qwen3-TTS-1.7B的7.73%；但MiniMax的24语平均错误率为5.89%，且SIM为0.754。不同基准、语言集合与指标不能混成一个排名，报告中的数字也属于作者自报结果。至少在选型前，技术团队需要用目标语言和目标文本重新测，而不能把“平均领先”理解成普遍领先。
开源许可不等于部署路径已经打通
在工程部署上，Audio8-TTS-Realistic给出的入口不止一种，但证据完整度并不相同。常规用法是通过Transformers加载模型，材料建议使用CUDA GPU，并提到曾在NVIDIA H20上以BF16进行冒烟测试。服务端可以通过SGLang Omni适配器使用分页注意力、动态批处理，并提供兼容OpenAI的/v1/audio/speech接口。不过Edge0没有公布吞吐量和流式性能基准，因此这些集成选项只能说明存在部署路径，不能替代对并发、首包延迟和运行成本的实测。
CPU部署也存在一个容易被误读的数字。技术报告称，在Apple M2上使用INT4 ONNX时，峰值内存为1.1至1.2 GiB；但仓库同时明确表示，Realistic目前没有公开的ONNX导出。前一项不能直接当成这个版本已经可以照步骤部署到CPU的证明。对技术负责人而言，比较稳妥的判断是：如果目标是研究小参数量模型如何通过学习型听感奖励改善韵律，Audio8-TTS-Realistic提供了可复核的训练设计和开放权重；若目标是立刻承诺低成本、多语言或端侧语音服务，则应先补齐目标语言盲听、延迟与吞吐测试，并确认实际采用的推理后端和导出路径。Apache 2.0降低了许可门槛，却不会自动消除这些工程边界。