项目详情
由
分享
HelloGitHub 评分
0 人评分
K8s 上的 AI 模型推理平台
过去 5 天共收获 16 颗 Star ✨
使用方向键查看日期,Home 和 End 跳至首尾,Escape 关闭提示。| 日期 | Star | 较前日 |
|---|---|---|
| 周一 | 6,240 | — |
| 周二 | 6,242 | +2 |
| 周三 | 6,245 | +3 |
| 周五 | 6,253 | +8 |
| 周六 | 6,256 | +3 |
6.3k
星数
否
中文
Go
主语言
是
活跃
405
贡献者
318
Issues
是
组织
无
最新版本
2k
Forks
Apache-2.0
协议

该项目是基于 K8s 的 AI 推理平台,支持 vLLM 后端和 OpenAI 兼容接口,可部署 TensorFlow、PyTorch、scikit-learn、ONNX 等多种框架的模型,并提供自动扩缩容、灰度发布和模型监控等功能。
评论
评分:
暂无精选评论