公开知识图谱记录
llm-d
记录摘要
将 vLLM 或 SGLang 服务组成协同推理池，并按缓存前缀和负载路由。
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 基准测试: 17,000-node GKE benchmark
- 部署方式: Google Cloud GKE Inference Gateway 可托管路由器
- 集成: 基于 Kubernetes Gateway API Inference Extension
- 许可: Apache 2.0
- 成熟度: 1.0 首个稳定版本，面向生产运行
- 成熟度: 1.0 是首个稳定版本
- 性能: 中位数 TTFT 下降超过 85%
- 性能: 吞吐量达到 2.4 倍
资料覆盖
知识图谱当前记录了 9 个已知资料维度，另有 9 个维度尚未记录，关联 1 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- Google Cloud — 发布
- NVIDIA Dynamo — 相关
- AIBrix — 相关
- 17,000-node GKE benchmark — 评测于
- CNCF — 隶属