该项目是基于 K8s 的 AI 推理平台，支持 vLLM 后端和 OpenAI 兼容接口，可部署 TensorFlow、PyTorch、scikit-learn、ONNX 等多种框架的模型，并提供自动扩缩容、灰度发布和模型监控等功能。