
先看证据
把机制串起来
生成式模型是先续写一段文字,再从文字里解析答案;决策模型则直接在调用者给定的候选项之间打分。Drex 的概率只回答“这些选项里哪个更合适”,不代表它能提出选项,也不等于模型对真实世界的置信度经过校准。
输入由 state(文本或 JSON)和带类型的问题组成,支持 choice、noul(是/否)和 score(有序评分);模型只为给定选项输出概率,不采样文本,因此 temperature、top_p 不适用。骨干 MiMo-V2.6-Distill-Qwen-9B 有 32 层混合注意力结构,另接一个 pointer head,根据隐藏状态给每个候选项打分;公开材料没有披露更细的打分公式,不宜臆测。每个问题需要对 state 做一次前向计算;llama.cpp 可让多个问
['适合路由、分类、工具选择等答案集合明确的工作流', '先检查候选项是否完整;模型不会自行补出遗漏答案', '长文档结果来自特定测试,须用本业务数据复测准确率与延迟', '不适合开放式问答或细粒度情感分析等需丰富输出的任务']
把答案空间交给调用者
Nace.AI推出并开放权重的 Drex 1.5,是一款面向代理和后台工作流的9B决策模型。它读取一段状态信息和带类型的问题,再为调用者提供的选项返回概率;它不生成开放式文字答案,目标是处理分类、路由和工具选择这类答案范围预先确定的任务。
这次发布值得技术负责人细看,不在于它又多了一个能读长文本的模型,而在于接口边界变了:传统聊天模型先生成文字,应用再从文字里解析决定;Drex试图直接输出候选项的分数。它把“怎么表达答案”从模型的自由生成能力中拿走,换来更明确的输出结构,但也把“有没有列对选项”留给了调用者。
一次前向传播,不等于替你定义问题
Drex 1.5的请求由状态和问题组成,问题支持多选、是/否和有序评分三类。模型卡披露,它以 MiMo-V2.6-Distill-Qwen-9B 为骨干,约8.95B参数,并使用独立的 pointer head 根据骨干隐藏状态给每个候选项打分。每个问题需要对状态运行一次前向传播;在 llama.cpp 实现中,同一状态可以编码一次,再供多个问题共享。
这种设计减少了自由文本生成和答案解析环节,却没有消除判断错误。模型只能在你提供的选项中作答,候选项漏掉真实可能性时,它仍会在剩余选项里给出分数;输入状态理解错了,结构化概率也不会自动纠正它。公开材料还没有充分说明概率校准方法,因此概率不应未经验证就被当成业务置信度或风险分数。
榜单接近,强弱项并不平均
在 Decision Index 0.3.1 的公开部分,Nace报告 Drex 1.5 得分为58.08,Jev 1.13.0 为57.96,Bespoke Nimble 9B v3 为57.19。Drex与Jev只差0.12分,且三者都处在榜单所称的0.9分并列带内,因此“10B以下最高分”必须限定在这套榜单及其口径里,不能读成明确胜过同类模型。Drex的分数由Nace运行官方评测套件得出,公开材料没有提供独立第三方复现。
分项结果比总分更能提示部署方向:模型卡列出的 Tools 区域得分为75.0,Knowledge and Reasoning 为44.6。在231个公开项目的 JevBench 上,Drex为86.2%,略低于Jev的87.0%,困难题两者均为73.9%;而在细粒度情感任务 ACOS aspect sentiment 上,Drex的每条评论F1只有7.4%,Jev为29.5%。这组落差说明,擅长在选项中作出工具类判断,不代表它适合所有结构化任务。
长上下文是证据,也是部署成本
Drex的另一项突出结果来自长文档评测。Nace报告,在8K至32K tokens区间准确率为89.5%,32K至128K区间为93.4%;把同一批请求截断到8K后,两段结果分别降至76.5%和78%。这些数据支持一个具体判断:当任务依赖分散在长材料中的信息时,保留上下文可能比盲目截短更重要。但这是模型方报告的测试结果,不是独立复测,也不能直接推导出所有长文档任务都会随长度提升表现。
部署上,模型卡称默认上下文为16,384 tokens,最高131,072;bf16权重约18GB,并报告在一张24GB A10G上测试。团队可选择 CUDA 上的 Python 运行时、Nace分支的 llama.cpp、加入决策能力的 Ollama 分支,也可使用托管服务;Q8_0 GGUF约9.5GB,材料称其可在 Apple 芯片和 CPU 上运行。多条路径让自托管更可行,但长上下文并非免费:显存、推理延迟和实际吞吐仍须按具体状态长度与并发量验证,现有材料不足以给出通用成本结论。
先验证选项设计,再谈替换聊天模型
对工程团队来说,Drex更适合作为一个专用决策组件来评估,而不是直接替换通用聊天模型。候选动作本来就明确、结果可从业务日志核验的工作流,例如路由或工具选择,最容易检验它是否减少了解析复杂度;相反,需要临时提出新选项、解释理由或综合开放知识的任务,并不符合它的接口优势。模型的输出受限,意味着应用需要承担候选项设计、兜底路径和异常处理。
还要把“开放权重”拆开看:代码仓库标注 Apache-2.0,模型权重采用 Nace.AI Open RAIL-M,两者不是同一许可证,商业或特定用途应以权重许可证全文为准。实际试点可先用自有留出数据检查选项覆盖、错误代价和概率校准,再比较本地部署与托管路径;同时记录失败时是否需要回退到人工或其他模型。若任务不能被稳定地写成封闭选项,或者误选的代价高于输出结构带来的收益,Drex的“直接打分”就不是简化,而只是把复杂性移到了系统边界。