先看证据
一台评分器暴露了词表的隐性账单
Dharma-AI在Hugging Face发布了VocabX的阶段性结果，讨论如何为窄领域小语言模型重建词表，以减少实际推理开销。案例是生产中的葡萄牙语作文自动评分器：它基于Qwen3-4B，读取作文、题目和参考材料，再输出包含各项评分与评语的JSON。模型已经针对任务训练，但仍沿用为多语言、多种文本设计的通用词表。
这次改动值得读，不是因为它给小模型换了一个更小的基座，而是因为它把通常被当作既定配置的tokenizer纳入了服务优化。评分器反复生成相同的JSON外壳、评分维度名称和常见评语；通用切分会把这些文本拆成更多token。结果是每次请求都要多生成一些内容，同时在每个生成步骤面对一个远大于任务所需的词表。
为什么输出侧的一个token更贵
推理大致分为两个阶段。Prefill一次处理输入文本，权重读取能被多个输入token复用，工作负载更偏向计算；decode则逐个生成输出token，每一步都要再次经过模型，权重读取的复用更少，GPU更容易受内存带宽限制。Dharma-AI称，在这个评分器的测试设置中，生成一个token的成本约为读入一个token的7.4倍，因此只按频率或总token数选词，可能把优化重点放错位置。
VocabX据称按候选片段出现在系统提示、用户输入和模型输出等位置时对应的成本来选择词表内容。它一方面重建子词切分，另一方面把常见短语、句子乃至JSON结构合并成宏token，并使用五类挖掘器寻找重复片段。这样的设计不是简单追求“每份文本token更少”，而是优先压缩更昂贵、又在任务中反复出现的生成路径。
省下的不只是文本长度
缩短输出会减少逐token解码的次数；缩小词表则影响另一项开销：模型每一步都要为候选词计算分数。文章报告，评分器的输出层词表行数从约15.2万降到约6.5万。对小模型而言，减少这部分每步要处理的候选项，和合并常见输出片段，是两条同时作用在生成路径上的杠杆，而不是把4B参数模型本身缩小。
但词表预算和任务质量并非可以分开调。一个具体对照是，若把评分等级连同周围JSON结构合并进同一个宏token，基准分数降至0.689，成本下降73.3%；保留评分等级为独立token时，作者报告成本下降77%，分数为0.810。这个结果提醒部署者：最短的编码未必是最好的接口设计，关键输出若被过度捆绑，可能影响模型表达或评估表现。
77%是一个有边界的实验结果
作者报告，平均响应从350个token降到101个，综合作文评分准确度以及识别离题或违规作文能力的基准分数从0.703升至0.810。成本比较覆盖7个版本、500次请求，在同一台RTX 5090上通过vLLM运行；模型基座、数据、训练方案和随机种子保持一致，变化项是tokenizer。这提供了一个相对清楚的对照：效率变化并非来自换模型或换训练数据。
不过，这些数字来自仍在审稿的论文当前版本，作者也提示结果可能变化。材料还报告，在5个公开领域与3个模型系列组成的15组比较中，VocabX的压缩率比所比较的最强基线高1.2至9.3个百分点；这说明跨领域的压缩比较有结果，却不等于15组都测得77%的成本下降。公开材料尚未提供足够细节供外部完整复核成本口径和各项消融，也未报告同任务、同硬件下的独立复现。
适合固定输出的服务，不是通用捷径
对技术负责人来说，VocabX提示了一种值得筛选的场景：小模型服务的输出格式固定、重复片段多，而且解码成本在总账中占比显著。作文评分、结构化报告等任务可以先盘点模型反复生成的字段、短语和模板，再用真实请求评估它们出现在输入还是输出端，以及压缩后质量是否保持。它提供的是不更换基座模型也能调整推理路径的可能性，不是无需改造就能获得的折扣。
边界同样重要。专用词表对领域变化和跨任务复用的代价尚未量化；词表缩小也不会消除上下文变长时KV cache带来的内存压力。现阶段更稳妥的判断是，把VocabX视为一个需要在目标任务、目标硬件和目标批大小上验证的架构选项。若输出并不重复，或模型必须频繁跨领域工作，单一案例的收益就不应成为部署预算的默认假设。