
先看证据
把机制串起来
MoE(混合专家)模型把网络分成许多“专家”,每个 token 只调用其中一小部分,因此计算量可以远低于把所有参数都跑一遍的稠密模型。但未被调用的专家权重仍要存放在设备上,所以“每 token 激活 2.5B 参数”不等于只需要给 2.5B 参数留显存。
模型有 49 层:前 2 层是稠密层,后 47 层每层配置 256 个路由专家;每个 token 选择 6 个专家,另有 1 个共享专家始终参与。这样既保留大量专家提供的容量,又限制每个 token 实际执行的专家计算,不过路由、专家调度和权重常驻仍带来部署与内存成本。注意力采用混合设计:35 层只看 513-token 滑动窗口,14 层看完整上下文,试图兼顾局部代码模式与跨文件、长上下文依赖;模型卡记录上下文为 262,144 token,博客另称最高可到 512k。Re
['适合重视代码留在本机、单会话编程 Agent 的用户', '建议至少48GB统一内存或显存,并预留约30GB磁盘', '别把2.5B激活参数误当成只需存放2.5B权重', '终端操作任务优先实测;其Terminal-Bench成绩偏弱']
本地运行的吸引力,和模型体量的现实
Recursive Superintelligence于2026年10月21日发布Flint,这是该公司的首个模型,定位为供编程Agent使用的本地MoE模型。它面向的工作包括检查代码库、修复缺陷、实现功能和编写测试,支持多轮推理与工具调用;权重以Apache 2.0许可证公开。对需要处理私有代码的团队来说,本地部署有机会让代码留在自己的设备或环境里,但这取决于实际部署方式,并不意味着任何使用Flint的流程天然离线。
这次发布的核心张力,是“本地”与“轻量”并不是一回事。Flint每个token约激活2.5B参数,听起来接近小模型的计算规模,但总参数约39.8B,整套权重仍然要存放并加载。它试图改变的是运行时每一步需要计算多少参数,而不是把模型整体缩成2.5B。
稀疏激活改变计算,不会抹去权重
Flint是49层的解码器式MoE Transformer:前两层使用密集结构,之后47层采用混合专家。每个MoE层有256个路由专家,每个token选择其中6个,同时启用一个共享专家。模型卡所说的约2.5B活跃参数包含输出头,不包括完整输入嵌入矩阵;模型主体的活跃参数约为2.2B。这个口径很重要,因为“每token激活参数”描述的是计算路径,不是加载整个模型所需的存储量。
注意力也不是单一配置。35层使用513-token滑动窗口,另外14层处理完整上下文。这样的组合体现了在局部信息处理与长距离依赖之间做结构安排,但公开材料没有提供足够证据来推断它在不同代码库或上下文长度下的实际收益。尤其是上下文上限存在说法差异:Recursive博客提到最高512K,模型卡和vLLM介绍列出的配置则是262,144 tokens。没有公开说明解释两者分别适用什么条件,不能把512K当成已确认的默认配置。
真正的部署门槛在整机,而非激活参数
Recursive称Flint可在48GB内存的Apple Silicon设备和48GB NVIDIA GPU上运行,4-bit权重约占23GB;BF16权重则约80GB。换句话说,面向本地硬件的路线依赖量化,而不是仅凭MoE的稀疏激活就能把模型塞进普通开发机。量化权重占用只是部署账单的一部分,实际运行还要考虑推理过程和上下文带来的内存需求,因此“48GB可运行”也不等于所有任务、配置都能不受约束地运行。
速度数字同样需要放回测试条件里看。Recursive报告称,Flint在M4 Pro MacBook Pro上达到每秒125个以上token,在64GB的NVIDIA RTX Spark上达到每秒150个以上。公开材料没有在这些数字旁完整列明量化版本、具体测试脚本与内存配置;相关报道还把M4 Pro数字描述为短上下文表现,而官方页面另提及128K-token会话的平均速度。两种口径如何对应并不清楚,所以这些数字适合当作部署线索,不宜直接当成团队负载下的吞吐承诺。
编程成绩有亮点,也暴露任务差异
在Recursive公布的结果中,Flint BF16在SWE-bench Verified上得分74.2%,NVFP4版本为74.1%;后者与前者差距很小,是低比特部署仍保留基准表现的一个信号。Flint在IFEval上为95.1%,也是材料所列的高分项。但这不是所有编程任务都同样强:Terminal-Bench 2.1上,BF16为54.9%,NVFP4为53.7%,而同一比较图中的稠密Qwen 3.8为73.0%。
这些分数不是脱离条件的模型属性。Recursive说明SWE-bench使用mini-swe-agent且不开放互联网访问,Agentic分数是至少5次尝试的平均pass@1;Terminal-Bench使用Terminus 2,并将通过网页检索找到解答的情况计为失败。另有SWE-bench Pro v2的89.7%成绩由Recursive自行测量,报道提醒它不能直接与公开SWE-Bench Pro分数等同。对技术负责人而言,合适的结论不是从一张表排出通用名次,而是看清Flint在哪类工作流上被测、哪些任务仍可能成为短板。
自动化研发是方法线索,不是效果保证
Recursive把Flint的研发过程归功于Eureka Machine:系统提出想法、实现方案、运行测试,再决定接下来尝试什么。公司特别提到架构搜索、量化和推理内核三部分。研发从一个35B总参数、3B活跃参数的基线出发,搜索专家配置与宽度,最终形成约40B总参数、2.5B活跃参数的模型;量化方面把通常较少这样处理的输出层也降到4-bit,再用16-bit模型作教师进行离线蒸馏。Recursive称这一做法相较量化感知训练基线几乎将训练步数减半,NVFP4与16-bit模型的成绩相差不超过0.7分。
这些信息说明,Flint不只是“一个MoE模型”,也是一套模型设计与硬件优化决策的组合。Recursive还称为低比特投影、MoE操作、注意力和提示处理编写了专用内核,并在M4/M5上用Metal megakernel融合整个解码前向过程。不过,自动化研发的具体贡献与收益目前来自发布方描述,公开材料并未给出足以独立复核整个研发过程的细节。团队可以把它当作一种值得观察的研发路径,但是否适合自己的机器、代码任务和Agent框架,仍应通过实际部署验证。