这是一个开源的企业级 LLM 应用平台，集成了 LLM 网关、监控、优化、微调、评估和实验等功能。它支持多种主流大模型（如 OpenAI、Anthropic、Llama 等）的一站式接入与统一管理，提供流式推理、多模态、结构化响应、缓存等多种功能。底层采用 Rust 构建，实现了高吞吐量和低延迟，适用于大模型接入和复杂 AI 场景的生产部署。