先看证据
重排器开始决定模型读什么
Cohere发布了Rerank 5，一个面向检索增强生成（RAG）和搜索代理的重排模型系列，分为Pro与Fast两档。它接在BM25、向量检索或混合检索之后，把已经召回的候选文档按查询相关性重新排序，再把靠前的材料交给大语言模型。两档都支持32K上下文和100多种语言，针对的则是不同的排序质量、延迟与吞吐需求。
这次更新值得技术负责人读，不只是因为Cohere报告了新的基准成绩，而是因为它试图改变重排器在系统里的职责。新增的Context Focus可以从文档中挑出相关片段，连同相关性分数一起返回。重排因此不再只是“谁排在前面”，也开始影响“哪些文字占用下游模型的上下文预算”。
片段筛选优化的是候选用法
Context Focus默认关闭，开启后会在一次Rerank调用中返回文档级分数，以及相关片段在原文中的字符起止位置和分数。开发者可以用threshold调整筛选范围，并用max_spans限制每份文档最多保留多少片段，再把这些片段交给生成模型。这个接口把“重排”和“裁剪上下文”放进同一环节，但筛选效果仍取决于模型对查询与文档的相关性判断。
这项设计可以接入已有检索流程，不必为了升级重建索引或重新生成embedding，开发者只需更换模型参数。Cohere列出的运行路径包括托管API、Model Vault、Microsoft Foundry、Amazon SageMaker，以及私有VPC和本地部署。材料没有说明各路径的能力、服务等级或数据处理条件是否完全一致，因此部署选型不能只看入口名称，还应向供应方核实具体环境中的延迟、数据边界与费用。
压缩收益来自公司自测
Cohere用17个数据集测试搜索代理，给出了Context Focus的主要证据。BM25基线准确率为46%，加入Rerank 5 Pro后为49%；再开启Context Focus，threshold为0.1时准确率达到57%，每项任务的token减少19%。threshold调到0.4后，报告准确率为58%，token减少34%。这些数字呈现出一个值得验证的系统变化：更少的输入并没有在这组测试里换来更低的整体准确率。
其他测试也显示压缩和质量之间不是简单的一比一交换。在30个问答数据集上，移除一半检索文本后，Cohere称答案质量保留96%；移除四分之三后，保留87%。在6项深度搜索基准中，公司报告token减少41%，准确率从39%升到52%。这些是跨数据集的汇总结果，不意味着某个业务的关键细节也能被安全裁掉。尤其是threshold越高，团队越应检查低频问题、长尾实体和依赖上下文细节的回答。
分数阈值改变检索控制方式
Rerank 5还主打经过校准的相关性分数。Cohere称，分数可以按概率理解，例如0.7表示文档有70%的可能性有用，并报告其在盲测人工评审和NIST TREC-DL评审数据上的预期校准误差约为0.06。这个指标反映模型分数与评审判断的贴合程度，不代表每一条结果都拥有可直接用于业务决策的真实概率。
如果分数在自有数据上也足够稳定，系统就可以按阈值筛选，而不必每次固定取top-k。搜索代理还可以据此判断当前结果是否都不够相关，进而补充检索或调整查询。对实际工程而言，这提供了一个新的控制信号，但不能把Cohere测试中的校准表现直接迁移到不同领域、语言或用户群体。要让阈值承担流程决策，团队需要用自己的查询和人工标注检验分数是否可靠。
质量收益要和延迟、口径一起算
Pro定位更高排序质量，Fast则面向较低延迟和较高吞吐。Cohere报告，在一次包含96份文档的请求中，Pro中位延迟为11.7秒，Fast为4.1秒；API价格分别为每百万token 0.05美元和0.02美元。对频繁发起搜索的代理来说，单次排序质量不是唯一成本，调用量、等待时间以及上下文减少后实际省下的费用都应放进端到端账本。
Cohere称Pro在其46组复合数据集中的39组排名第一，并在BRIGHT上取得82.2分，比Voyage AI Rerank 3高5.8分。不过这些结果由Cohere自行运行，采用它开发的RCP-nDCG@10指标，不能视作独立验证，也不宜和不同评测口径的榜单直接横比。更稳妥的决策方式，是在现有检索管线上做小规模对照，同时记录答案质量、输入token、端到端延迟和无相关结果时的行为，再据此选择Pro或Fast，并为Context Focus设定任务级阈值。