colibri

这是一个用纯 C 编写的混合专家模型推理引擎，零依赖、不需要 GPU。它只把模型每次都要用到的部分留在内存，其余的专家权重在需要时再从硬盘读取，最低 8GB 内

This is a mixture-of-experts inference engine written in pure C, with zero dependencies and no GPU r

无需显卡运行千亿参数模型

该项目是 DeepSeek 线上大规模服务所用的高性能推理框架，提供离线推理和大规模部署所需的核心功能。它集成了 FlashMLA、DeepGEMM、DeepE

This project is the high-performance inference framework used for DeepSeek's large-scale online serv

这是一个通过分层加载大幅降低推理显存占用的 Python 库，无需量化、蒸馏或剪枝，仅需 4GB 显存即可运行 70B 大模型。它支持 Llama 3.x、Qw

This is a Python library that drastically reduces inference VRAM usage via hierarchical loading. It 

该项目是由 vLLM 官方开源的全模态推理与服务框架，在 vLLM 基础上扩展了图像、视频、音频的输入与生成能力，同时支持自回归模型与扩散 Transforme

This project is an open-source multimodal inference and serving framework officially released by vLL

这是一个专为 Apple M 系列芯片打造的高性能、轻量级 AI 模型推理引擎。它充分利用 Apple 硬件的特性提升推理速度，并提供简单易用的 API，助你一

This is a high-performance and lightweight AI model inference engine specifically designed for Apple

该项目是用 Python 实现的轻量级 vLLM（大语言模型推理引擎）项目，核心代码仅 1000 多行。它结构清晰、易于阅读，推理速度媲美 vLLM 原版，并集

This project is a lightweight vLLM (large language model inference engine) implemented in Python. Th

该项目是微软专为 CPU 本地推理和极致压缩（低比特）大模型设计的推理框架。它支持对 1-bit/1.58-bit 量化模型进行高效、低能耗的推理，兼容 Bit

This is an inference framework designed by Microsoft specifically for CPU-based local inference and 