Xinference：7600+ Star 的模型推理平台
2026-06-06 12:00:00
Xinference 开源项目分析
仓库：github.com/xorbitsai/inference · License: Apache-2.0 · ⭐ 7.6k+
项目简介
一键部署 LLM/Embedding/Rerank/语音模型，OpenAI 兼容 API。
核心亮点
- 多模型统一
- OpenAI API
- 分布式推理
- 框架集成
适用场景
私有化模型服务、GPU 集群。
黑豹点评
Xinference 是 国产推理中台。