先看证据
从推理内核到可训练路径
Prime Intellect 发布了 Prime Mega MoE，这是对 DeepSeek 开源 DeepGEMM 库中 Mega MoE 融合内核的训练扩展。DeepSeek 原有实现只有前向路径，Prime Intellect 为它补上了反向传播，使这套内核可以用于训练，而不只是推理。它面向的不是一种新模型，而是 MoE 模型中专家分发、计算与结果回收这段执行流程。
这项变化值得读，不是因为“3.11 倍”可以直接套到训练总耗时上，而是因为它触及了 MoE 训练中的常见闲置：token 被送往不同 GPU 上的专家时，计算设备可能在等待数据传输。把前向做快并不能自动解决反向路径的等待；训练要真正受益，两个方向都得处理。Prime Mega MoE 的核心主张，正是把重叠执行带入完整训练流程。
融合改变的是等待方式
标准 MoE 执行通常要经历 token 分发、专家计算和结果合并等操作。分发时 GPU 需要整理 token 并等待传输，计算完成后又要交还结果；如果这些环节各自串行，计算与通信之间就会出现空档。DeepSeek 的 Mega MoE 将专家并行分发、两层专家线性变换、SwiGLU 和结果合并放进一次融合调用，并在一组 token 传输时计算另一组已到达的 token。
融合并不只是减少调用次数。该实现还使用 GPU 侧 scratch buffer，避免生成部分中间张量；Prime Intellect 新增的反向内核也采用重叠执行思路。两者合起来，试图减少等待和中间数据搬运，而不是改变 MoE 的路由规则。效果因此依赖通信能否被计算覆盖，也依赖具体模型的专家计算和 token 分布是否适合这条执行路径。
端到端收益小于单层峰值
Prime Intellect 报告的完整训练步数据，比单层峰值更能说明实际收益。测试使用 8×H200 节点、FP8、16,384 token 序列和完整激活检查点，取第 6 至第 20 步的均值。Qwen3-30B-A3B 在 32 张 H200 上，Prime Mega MoE 用时 2.08 秒，prime-rl 基线为 2.78 秒、TorchTitan 为 3.07 秒；Qwen3-235B-A22B 在 128 张 H200 上，则分别为 9.65、12.72 和 14.98 秒。按发布方的比较口径，完整训练步快于 prime-rl 约 32% 至 34%，快于 TorchTitan 约 48% 至 55%。
单层数字的幅度更大，但不能与训练步加速混为一谈。在 8×H200、节点内 EP=8 的单层测试中，Qwen3-30B-A3B 的前向从 12.0 毫秒降至 3.9 毫秒，即 3.11 倍；Qwen3-235B-A22B 的反向则从 30.5 毫秒降至 24.6 毫秒，仅为 1.24 倍。前向收益显著、反向收益较小，说明新内核并没有让所有阶段以相同比例变快。完整训练还包含其他开销，因此应以训练步结果衡量，而不是拿单层前向峰值替代。
性能数字背后有明确边界
目前公开测试覆盖 Qwen3-30B-A3B 和 Qwen3-235B-A22B，配置为 128 个专家、top-8 路由；报告中的专家并行是节点内 EP=8。结果来自 Prime Intellect 自行报告，不能据此推断跨节点通信、不同模型结构或其他 GPU 集群也会得到相同收益。尤其是，通信重叠的价值会随拓扑和工作负载变化，不能仅凭一次内核基准判断部署后的训练吞吐。
使用条件也影响迁移成本。内核支持 gated SwiGLU 且不带专家 bias，隐藏维度须为 256 的倍数，专家 FFN 维度须为 128 的倍数；Hopper 支持 BF16 和 blockwise FP8，Blackwell 支持 BF16 和 MXFP8。prime-rl 配置可将 dispatch 类型设为 `mega_moe`，并选择 `fp8` 等精度模式；配置还提供预留 16 个 SM 的选项以供 NCCL 使用。对技术负责人而言，合理的判断不是照搬加速比例，而是先核对模型结构、精度路径和通信布局，再用自身训练步基准验证收益与稳定性。