Bar chart of the top 10 models by 95th-percentile time to first audio. Phonon 31m en is first at 28 ms and Phonon 40m en is second at 38 ms, ahead of Pocket TTS at 165 ms. Lower is better.
Bar chart of the top 10 models by 95th-percentile time to first audio. Phonon 31m en is first at 28 ms and Phonon 40m en is second at 38 ms, ahead of Pocket TTS 查看原始材料 ↗

先看证据

Phonon 31m 模型参数量 3100万,大小约 64MB。关键事实
Phonon 40m 模型参数量 4000万,大小约 74.6MB。关键事实
在笔记本 CPU 上,Phonon 31M 模型约 7ms 开始发声。关键事实
1,189 名评测者,17,270 次投票。盲测规模
Phonon 31M/40M 英语 Elo 分别为 2098/2117。关键事实
Phonon 31M 英语 Hard set WER 为 1.5%。关键事实

把机制串起来

输入先把素材压到可处理的规模

Phonon 是一个文本转语音(TTS)模型,可以在本地设备上运行,无需联网。它使用流匹配(Flow Matching)技术来生成音频,这是一种与传统 TTS 模型不同的方法。

机制再把计算集中到关键步骤

流匹配技术允许 Phonon 在保持模型尺寸较小的同时,达到高音质。然而,这种训练方式在早期存在数值不稳定的挑战,需要特殊的技巧来确保多语言的训练效果。模型支持多种后端推理,以适应不同设备和平台。

结果最后落到可验证的工作结果

['Phonon 31m 模型(Apache 2.0)可用于商业产品;40m 模型(CC BY-NC)仅限非商业用途。', '适合对隐私、离线能力和低延迟有要求的应用,如智能助手、无障碍工具。', '可在手机、电脑、浏览器等多种设备上部署,集成灵活。']

云端语音的边界,端侧语音的崛起

传统语音 AI 解决方案大多依赖云端服务器,每一次语音生成都需要数据往返,这不仅带来了延迟,也引发了隐私和网络连接的顾虑。Gradium 推出的 Phonon TTS 模型,正是为了打破这一局限而生。它能够在用户自己的设备上运行,无需服务器连接,文本信息也始终保留在本地。

Phonon 的出现,旨在解决语音 AI 领域长期存在的“模型大小与质量不可兼得”的困境。过小的模型往往音质不佳,而高质量的模型又体积庞大,难以部署在资源受限的设备上。Phonon 通过创新的技术路径,如基于 Pocket TTS 流匹配(flow matching)的音频生成,成功地在两者之间找到了一个出色的平衡点,使得高质量的语音合成能力得以在小型、本地化的设备上实现。

Phonon 的技术底色:流匹配与本地化部署

Phonon 的核心竞争力在于其采用的流匹配(flow matching)技术,这与其前辈 Pocket TTS 一脉相承。与许多 TTS 系统依赖的建模技术不同,流匹配允许模型在不牺牲音质的情况下,显著减小模型体积。这一特性是 Phonon 能够在手机、笔记本电脑乃至单板计算机等多种设备上流畅运行的关键。

在部署层面,Phonon 提供了高度的灵活性。其模型权重被设计得小巧,如 Phonon 31m 仅约 65MB,Phonon 40m 约 75MB。模型支持 CPU、CUDA、Vulkan、Metal 等多种后端,并兼容 Apple Core ML、Snapdragon 等硬件加速,同时提供了 WebGPU 和 WebAssembly 的浏览器集成方案。这意味着开发者可以将其轻松集成到各种应用程序和平台中,实现真正的跨设备、离线语音合成。

性能基准的拔尖表现与许可策略

Gradium 声称 Phonon 在 Hugging Face 的 Open TTS Leaderboard 上取得了优异的成绩,特别是在某些语言和指标上。例如,在英语的 Hard set WER(针对包含数字、日期、代码等内容的复杂句子)测试中,Phonon 31m 达到了 1.5% 的词错误率(WER),优于不少竞品。在盲听偏好测试中,Phonon 40m 的 Elo 分数高达 2117,显示了其生成语音的自然度和受欢迎程度。

Phonon 的发布伴随着明确的许可策略:Phonon 31m 版本以 Apache 2.0 协议开源,这使得它可以在商业产品中免费使用。而 Phonon 40m 版本则采用 CC BY-NC 许可,适用于非商业项目。这种区分策略旨在激励开源社区贡献,同时也为商业化应用提供了清晰的路径。

实际应用中的考量:局限与潜能

尽管 Phonon 在许多方面表现突出,但实际应用中仍需注意其局限性。目前,Phonon 主要支持英语、法语、德语、西班牙语和葡萄牙语,中文等主流语言并不在列。此外,“跑赢基准”的声明需要结合具体的测试语种、数据集和评估指标来理解,发布的基准数据来自 Gradium 内部测试,且在某些指标上与其他模型(如 Kokoro)存在并列情况,并非完全的绝对领先。

然而,Phonon 的潜能不容忽视。其在文本归一化上的能力,如准确处理电话号码、日期和代码,是许多 TTS 系统常遇到的难点。通过 Gradium Studio/API,用户还可以进行声音克隆和声音设计,创造个性化的语音。Phonon 31m 的 Apache 2.0 许可,更是为开发者利用其进行创新性商业产品开发提供了极大的自由度。

对开发者的启示:选择与集成

Phonon TTS 的发布,为寻求在端侧实现高质量语音合成的开发者提供了一个强有力的选项。特别是对于使用 Apache 2.0 许可的 Phonon 31m,商业化集成门槛极低。开发者可以通过 Hugging Face Transformers 轻松上手,或者利用 ExecuTorch、Micdrop 等工具将其部署到更广泛的平台。

然而,集成前的审慎评估至关重要。开发者需要关注 Phonon 当前支持的语言是否符合目标市场需求,以及其在特定场景下的延迟和稳定性表现。同时,理解并遵守不同版本的许可条款,特别是对于商业产品,确保合法合规使用。Phonon 的出现,预示着语音 AI 的民主化进程正在加速,为更多创新应用铺平了道路。