本地部署 AI 模型与工具
查找适合本地、离线、自托管或受限环境运行的 AI 模型与工具。
先看主题地图，再进入选型
本地部署的关键不只是能否运行，还包括显存、CPU/GPU 适配、量化、许可证和数据是否必须离开设备。把这些限制写进自然语言查询会比只搜 local 更有效。
本页用于理解主题范围、发现候选和相关概念；准备按部署、预算或能力约束比较时，请进入上方的对应选型指南。
主题精选 KG 入口
这里是用于发现本主题的一组精选入口，不代表付费排名，也不等同于官方产品评测；需要完整语义召回和二层总结，请回到首页检索。
offline evaluations
部署前在整理数据集上评分，用于发现提示词或模型回归
机制Local Model Deployment
通过采购GPU构建固定资产，将变动成本转为固定成本以应对规模化需求。
机制Offline Top-K Logits
预计算教师模型输出并仅缓存前K个token的逻辑值，避免训练时加载教师模型。
模型Ollama
Software for running open-weight LLMs locally without requiring API keys.
智能体ChatGPT Work
能完成多步任务、具备记忆功能并连接各类商业应用的智能体。
机制Hybrid RAG
结合BM25关键字匹配(0.4权重)与all-MiniLM-L6-v2语义搜索(0.6权重)进行文档检索
模型long-t5-local-base
来源摘要：LongT5 model pre-trained on English language. The model was introduced in the paper LongT5: Efficient Text-To-Text Transformer for Long Sequences by Guo et al. and first released in the LongT5 repository. All the model architecture and configuration can be found in Flaxformer repository which uses another Google research project repository T5x.
模型long-t5-local-large
来源摘要：LongT5 model pre-trained on English language. The model was introduced in the paper LongT5: Efficient Text-To-Text Transformer for Long Sequences by Guo et al. and first released in the LongT5 repository. All the model architecture and configuration can be found in Flaxformer repository which uses another Google research project repository T5x.
留下这个主题的使用反馈
留言会关联到当前主题页面，保留在 KG 之外，其他访客也可以浏览和点赞。无需登录，不人工审核。