先看证据
把机制串起来
推测解码里，小草稿器先提议一串 token，目标模型再并行校验；不匹配时只保留从左到右连续匹配的前缀，因此提议错了不会改变目标模型的输出分布。“无损”指输出分布不变，不代表草稿总能猜对。实际加速取决于草拟开销和平均能接受多少个 token。
FlashMap 的 drafter 接收目标模型第 1、9、17、25、33 层的隐藏状态，把高斯噪声映射为长度 16 的整块候选；与逐位置独立抽样不同，同一个噪声样本决定整块的联合模式，因此能学到“new york”这类 token 之间的搭配。训练先用 one-hot token 块训练连续 flow teacher，再用 semigroup distillation 把多步流蒸馏为噪声到数据的一步映射；论文也报告两步模式能换取更高接受长度，但会增加草拟成本。draft
['优先在Qwen3-8B、低温数学任务中验证收益。', '高温或聊天任务应单独测接受长度，不能套用峰值。', '单请求加速不等于高并发吞吐提升，需按服务负载实测。', '部署时计入同卡约0.5B参数草稿器的显存与计算开销。']
加速瓶颈不只在草稿够不够快
来自 Polymathic AI、普林斯顿大学、USC ISI、纽约大学和 Flatiron Institute 的研究者提出了 FlashMap，一种用于推测解码的草稿器。它面向大语言模型逐词生成耗时较长的问题：小草稿模型先给出一段候选词元，目标模型再一次并行校验，最终只接受与目标模型相符的最长前缀。只要校验规则不变，推测解码不会改变目标模型的输出分布，草稿猜错也不会直接改变最终答案。
FlashMap值得技术负责人读，不是因为“16个词元”本身新鲜，而是它瞄准了块式草稿器的效率矛盾。逐词自回归草稿器要顺序计算多次，草稿成本会随块长增加；一次生成整块的扩散草稿器计算更并行，却可能把每个位置当成互不相关的选择。后者即便算得快，只要前面某个位置不匹配，后面的候选也无法继续被接受。
把词元块看成一个整体
FlashMap用一次 flow-map 前向计算，把高斯噪声映射成一个包含16个词元的完整提案。它读取目标模型多个层的隐藏状态，再由目标模型并行检查这16个位置，按从左到右的顺序保留匹配前缀。这里的“联合”不是说草稿每次都正确，而是说一个噪声样本决定整块内容，模型能够表达块内位置之间的依赖，而不只是分别猜每个位置。
论文用短语续写说明这种差别。给定“we landed in”，后续可能是“new york”或“san diego”，两种组合各有可能。若草稿器独立抽取两个位置，就可能拼出“new diego”或“san york”这类不一致组合，并在第二个位置被拒。联合生成提供了保留整组组合关系的机制，但真正能否提高接受长度，仍取决于训练后的模型是否学到这些关系。
一次跳跃来自两阶段训练
FlashMap的草稿器是一个六层扩散 Transformer，模型宽度为2048、使用16个注意力头，并读取目标模型第1、9、17、25和33层的隐藏状态。它使用从目标模型复制而来的嵌入矩阵和语言模型头，两者保持冻结。架构上的重点不是另起一个完整语言模型，而是在目标模型提供的中间表示之上，学习如何形成一段候选词元。
训练先得到连续 flow teacher，再通过 semigroup distillation 将其蒸馏成能从噪声一步跳到数据的 flow map。论文也报告，两步模式可以用一些速度换取更高接受长度，说明单步提案并未完全捕捉块内结构。所有模型和消融实验合计约使用4600个H200 GPU小时，训练数据来自 Open-PerfectBlend 的50万条样本。这既交代了结果背后的工程投入，也留下一个限制：作者提醒，现有训练规模可能不足以充分训练草稿器。
速度优势取决于任务和比较对象
论文在Qwen3-8B上评测了数学、代码和聊天等9项基准，并比较温度为0和1的结果。研究者称，在18个任务与温度组合中，FlashMap有15项的接受长度高于重新训练的DFlash，平均速度快7.4%。GSM8K、温度0时报告的最高加速为6.14倍，接受长度为7.69个词元；Alpaca、温度1时最低为2.28倍。数字显示它在某些场景中可以显著减少目标模型逐步生成的次数，但并不意味着各类请求都会获得相同收益。
比较还需要看模型规模。Qwen3-8B上，FlashMap是研究测试中最快的草稿器，平均比重新训练的DFlash快约7%；但在Qwen3-4B、温度0的9项任务中，它有4项落后于DFlash。测试使用单张NVIDIA H200 NVL、并发数1，且论文说明每种配置的速度和接受长度来自单次运行。因此，6.14倍是一个有明确条件的峰值，不是可以直接套用到生产服务的吞吐承诺。
接入成本明确，外推范围仍有限
对部署团队来说，FlashMap已经提供了可辨认的接入路径：Qwen3-8B和Qwen3-4B的草稿器权重已公开，项目提供 vLLM 与 SGLang 插件，也提供 Transformers 安装方式。材料给出的服务入口分别对应 vLLM 0.31 的 speculative-config，以及 SGLang 0.5.20 的 DSPARK 参数；权重采用 Apache-2.0，代码采用 MIT 许可。这意味着团队可以把它作为目标模型旁边的草稿组件评估，而不必先重写推测解码框架。
但接入可行不等于收益已被验证。论文只覆盖Qwen3的4B和8B，没有证明换到其他模型家族或更大的目标模型仍保持优势，也没有评估高并发批量服务的整体吞吐。基线范围也有限，作者未纳入若干后续改进方法，训练数据使用同一数据子集，公开材料中也没有独立复现结果。实际决策应先在目标模型、请求分布和服务并发条件下测接受长度与端到端吞吐，再决定是否采用；否则，单请求的峰值加速很容易被误读为系统级收益。