先看证据
把机制串起来
在线强化学习要先让模型生成行动轨迹，再根据结果更新模型；智能体任务很长时，生成轨迹本身可能比训练更耗时。Async 把生成和训练分配给相对固定的资源池，Colocate 则让两者共享或紧密绑定资源；前者可能有资源闲置，后者容易被最慢的任务拖住。智能体还会调用工具、重试或启动子代理，因此一次执行常是一棵共享前缀的分支树，而不是一条简单对话。
集群被划成可承担完整训练布局的 cell：核心 cell 持有权重与优化器状态，卫星 cell 可在合适时加入训练；调度器根据仍在运行的 rollout 数量和队列水位，在不打断 harness 的前提下切换资源角色。模型调用经代理层转发并记录精确 token 与行为策略 log-probability，因此无需改写 harness 内部，但仍需要接入调用代理。切换时迁移 KV cache，卫星再经 Mooncake Transfer Engine 拉取核心权重；这减少前缀重
['适合数小时、多工具调用且耗时差异大的在线RL任务', '先接入模型调用代理；黑箱不等于零集成成本', '需评估KV迁移、权重同步与角色切换是否抵得过空等', '短任务或分支很少时，弹性调度的收益可能有限']
任务变长后，等待也进入训练成本
阿里巴巴 Qwen 团队提出了 QwenGyre，一套面向超长程智能体的在线强化学习框架，目标是训练能够通过代码工具完成复杂任务的 agent。它针对的不是普通的短问答，而是可能持续数小时、经历数百次模型与工具交互的执行；论文用接近百万 token 描述这类任务的量级，实验中的 rollout 则设为 700K tokens。
这类训练的麻烦不只是上下文长，而是执行时间很不均匀。有的 agent 很快结束，有的持续运行并反复调用工具；若训练要等所有 rollout 收尾，已完成任务对应的 GPU 就可能闲置。反过来，如果训练与 rollout 被固定分配到两组资源，某一侧暂时空出的算力也不容易借给另一侧。QwenGyre 的判断是，吞吐问题和轨迹膨胀问题必须放在同一套系统里处理。
让算力跟着未完成任务移动
QwenGyre 把 GPU 组织成可以承担 rollout 或训练的 cell，并由调度器依据仍在运行的执行数量调整两类工作的资源比例。一个核心 cell 保持权重与优化器状态，其他 cell 可以在时机合适时加入训练；调度器追踪尚未完成的 rollout 水位，只有确认剩余服务资源足以继续处理活跃任务，才把腾出的 cell 转入训练。这样做的关键不是粗暴地暂停 agent，而是在执行仍继续的情况下改变资源角色。
为让 harness 不必知道底层资源正在切换，QwenGyre 在模型调用路径上设置代理，并在路由变化时迁移 KV cache，减少重新计算已有前缀的成本。论文还报告，rollout 转训练的平均切换耗时为 8.52 秒，训练转回 rollout 为 3.46 秒。它不是无代价的瞬时切换，但相比让整批任务等待最慢的执行结束，短暂的角色转换可能更划算。
黑箱接口背后仍有一层工程接入
QwenGyre 的一个重要设计目标，是支持未修改的黑箱 agent harness。它不要求训练系统改写 harness 内部的压缩上下文、重试或子代理逻辑，而是在模型调用边界记录输入、输出 token 和行为策略的 log-probability，再据此重建实际发生的轨迹。对使用成熟编码 agent 的团队来说，这降低了侵入业务执行逻辑的要求。
但“未修改 harness”不等于零接入。模型请求需要经过代理，系统还要保留 token 级记录并在资源切换时处理缓存迁移。这个边界很重要：QwenGyre 把适配工作从 agent 内部挪到了调用路径与训练基础设施，并没有让复杂工具链自动变得兼容。技术负责人评估时，应把代理、日志完整性和运行时路由视为系统组成部分，而非可忽略的胶水代码。
分支轨迹要保留进展，也要限制重复
长程 coding agent 的一次执行可能分出重试、子代理和摘要等路径，历史因此更像一棵共享前缀的树，而不是一条直线。若把每条路径都当成独立样本，重复前缀会抬高训练成本；若只保留最终结果，又可能丢掉失败前已经取得的有效进展。QwenGyre 的轨迹处理器记录完整执行，再从中挑选有限数量的路径用于优化，并对共享目标去重，只训练由策略生成的 token。
论文报告每次执行最多保留五条轨迹，并按主轨迹、主轨迹摘要、子代理轨迹、子代理摘要的优先级筛选；损失则先在单次执行内部平均，避免分支更多的任务仅因路径多就获得更大权重。超时任务如果仍留下可评估的工作区进展，可以获得部分评分；评估器故障不会被当作零分，整体时间预算耗尽且没有有效奖励的执行则会被丢弃。五条路径的上限在实验中保持了与不设上限相当的训练分数，同时将前向与反向计算时间减少 25.2%。
加速成立，但数字必须连同条件阅读
QwenGyre 的结果支持一个具体判断：弹性调度在长尾执行明显、资源规模足够时，能缩短在线强化学习的训练周期。Qwen 3.8 2.4T 的 NL2RepoBench 实验中，48 步训练耗时 75.42 小时，Async 用时 134.55 小时，Colocate 用时 91.47 小时，对应加速约 1.78 倍和 1.21 倍；评测通过率从 52.5% 升至 58.5%。这组数据同时说明，和不同基线比较，收益并不相同。
在 Qwen 3.6 122B 上，论文报告相对 Async 加速 1.42 至 1.53 倍，相对 Colocate 加速 1.36 至 1.47 倍；摘要中的最高值则是对 Colocate 1.85 倍、对 Async 1.78 倍，不能与 2.4T 实验的数字混为一谈。实验规模也不是轻量原型：122B 运行使用 24 至 32 个节点，2.4T 运行使用 192 个节点，GPU 型号未披露。加上论文页面未提供公开代码仓库或独立复现结果，当前证据足以说明架构方向值得研究，却不足以证明它能在不同集群和 harness 上直接复现同等收益。