先看证据
把机制串起来
小模型做本地代理，不只要会答题，还得能在多轮对话里记住状态、按格式调用工具，并控制回答长度和延迟。RLVR用可验证结果给行为打分，RLHF用人类偏好信号调整回答；推测解码则让较小的草稿模型先猜一串词，再由目标模型验证，以减少逐词生成的等待。
训练时每个样本都以推理和非推理两种模式运行，每批次按2:1配置非推理与推理样本；这让模型同时学习快速短答和需要展开的任务，而不是把所有请求都变成慢速长推理。NVIDIA报告称SFT会牺牲对话质量，因此用NeMo-RL和NeMo-Gym中的RLVR、RLHF直接优化工具调用、指令遵循、对话与结构化输出，并在部分环境施加长度惩罚，抑制训练中答案越变越长。部署时，Q4_K_M将权重压到低显存档位，校准数据取自约100万tokens的RL rollout；但量化后的实际显存仍随上下文
['适合本地助手、游戏角色及需多轮工具调用的嵌入式代理', '语音识别与合成需另配；模型本身是文本输入、文本输出', '先按实际上下文和负载测显存；Q4_K_M不保证恒定4GB', '高可靠工具任务先测Tau2类表现，勿只看综合领先项']
目标不是把语音助手装进一个模型
NVIDIA于2026年10月23日发布Nemotron 3.5 Bolt E4B 4GB，将它定位为面向本地语音与设备助手、游戏互动角色，以及机器人和嵌入式接口的小型语言模型。它基于Google的Gemma 4 E4B进一步后训练，并非从零设计的新架构。发布所回应的问题也很具体：让设备上的对话代理在有限资源下处理多轮交流和工具调用，而不是只展示小模型能否写出通顺答案。
这一区分关系到整套系统如何拆分。Bolt的模型卡把输入和输出都标为文本，因此“语音助手”说的是它可以承担语音应用中的对话和工具决策部分，不代表模型本身完成语音识别或语音合成。公开材料没有给出统一的语音组件配置，部署者仍需安排这些环节，并把模型放进应用状态、工具接口和音频链路共同构成的流程里。
“4GB”是测试条件，不是整机预算
“4GB”这个名称容易被读成一个固定的显存上限，实际数据更适合被看作特定部署路径的目标。NVIDIA公布的测试采用Q4_K_M量化版本、llama.cpp和batch size 1。RTX 5070在两种测试负载下分别占用3.5GB和4.3GB显存，Jetson Orin Nano 8GB则分别占用4.2GB和4.9GB。换言之，连同一模型在列出的条件下也会跨过4GB，不能把名称直接换算成设备必须预留的总显存。
上下文和响应长度也会改变用户实际感受到的速度。在RTX 5070上，3K输入、生成50个token的测试，首token延迟为548毫秒，生成速度为133.4 tokens/s；另一组32K缓存、2K输入、生成256个token的测试，首token延迟为1,238毫秒，生成速度为106.2 tokens/s。对实时语音或机器人交互而言，生成阶段的速度不是全部，用户还要等待首个响应、工具执行以及工具结果返回后的下一轮生成。工程评估应测端到端响应，而不是只引用tokens/s。
训练选择把对话控制当成核心问题
NVIDIA称Bolt由Gemma 4 E4B后训练而来，训练使用可验证奖励强化学习和人类反馈强化学习，没有采用监督微调。研究说明给出的理由是，监督微调虽然改善了工具调用，却损害了Gemma原有的对话质量，并让回答变得冗长。这个取舍体现了目标上的张力：代理需要可靠地选择工具和遵守格式，也不能把每次交互都变成过长、僵硬的机器回复。
训练过程让推理与非推理两种模式都参与样本，每个批次的比例为2:1，并在部分环境中加入长度惩罚以抑制回答膨胀。模型还提供conversation mode、推理开关和运行时thinking budget。对产品团队来说，这些接口提供了一种按请求调节的可能：简短的语音应答可以压低思考预算，复杂任务则允许更多推理。但接口存在不等于任务表现已经可靠，仍需在应用自己的提示、状态和工具返回格式下验证。
基准胜场不能代替工作流匹配
NVIDIA在自有NeMo-Gym测试中报告，Bolt在21项基准里的15项领先于对比模型。一个醒目的结果是IHEval得分84.8，高于Gemma 4 E4B的67.0和Qwen 3.5 4B的60.6。这些数字说明Bolt在特定评测任务上有竞争力，但它们属于BF16结果，不能与量化推理时的资源数据混为一谈，也不能由“多数项目领先”推出每类代理工作流都更适合它。
反例对选型同样重要。Tau2-Bench上Bolt为55.1，低于Qwen 3.5 4B的75.1；在64K的RULER测试中，Bolt为87.0，Qwen为95.1。材料还列出Qwen在LongBench v2和BFCL-v3领先，Gemma则在EQ-Bench v3略高。团队若主要处理长上下文、特定工具调用或对话质量，应该先找与业务路径相符的评测，再用自身任务复测，而不是把一个总胜场数字当作模型选型结论。
推测解码加速的是生成环节
Bolt的部署路线不只有低比特量化。NVIDIA还提供DFlash draft模型用于推测解码：草稿模型先提出候选token，再由目标模型并行验证。发布材料称，RTX 5070上Bolt搭配DFlash的速度为272.6 tokens/s，Gemma 4 E4B搭配MTP drafter为225.9 tokens/s，前者约为后者的1.21倍。这是指定硬件和配置下的生成速度比较，不意味着首token延迟、工具往返或整套应用都快了相同幅度。
因此，Bolt更适合被看作可组合的本地代理语言层，而不是一台机器上开箱即用的完整语音机器人。落地前，技术负责人应在目标设备和真实并发下测量峰值显存、首token延迟、生成速度及工具调用成功率，并确认长上下文是否会挤压其他模型的资源。若应用依赖语音识别、语音合成或视觉能力，还要分别明确这些组件的部署与资源占用。只有当任务确实需要本地多轮对话和工具使用，且整条链路通过目标硬件验证时，“4GB”才是有意义的起点，而不是系统预算的终点。