colibri—无需显卡运行千亿参数模型这是一个用纯 C 编写的混合专家模型推理引擎，零依赖、不需要 GPU。它只把模型每次都要用到的部分留在内存，其余的专家权重在需要时再从硬盘读取，最低 8GB 内JustVugg·C·18 天前2.2k
DeepInfer—DeepSeek 开源的大模型推理框架该项目是 DeepSeek 线上大规模服务所用的高性能推理框架，提供离线推理和大规模部署所需的核心功能。它集成了 FlashMLA、DeepGEMM、DeepEdeepseek-ai·Python·18 天前1.3k
airllm—仅需 4GB 显存就能跑 70B 大模型4这是一个通过分层加载大幅降低推理显存占用的 Python 库，无需量化、蒸馏或剪枝，仅需 4GB 显存即可运行 70B 大模型。它支持 Llama 3.x、Qwlyogavin·Jupyter·3 个月前7.1k
vllm-omni—全模态模型推理框架该项目是由 vLLM 官方开源的全模态推理与服务框架，在 vLLM 基础上扩展了图像、视频、音频的输入与生成能力，同时支持自回归模型与扩散 Transformevllm-project·Python·5 个月前1.1k
uzu—MacBook 专属的高性能 AI 推理引擎这是一个专为 Apple M 系列芯片打造的高性能、轻量级 AI 模型推理引擎。它充分利用 Apple 硬件的特性提升推理速度，并提供简单易用的 API，助你一trymirai·Rust·1 年前2.4k
nano-vllm—从零开始构建的轻量级 vLLM该项目是用 Python 实现的轻量级 vLLM（大语言模型推理引擎）项目，核心代码仅 1000 多行。它结构清晰、易于阅读，推理速度媲美 vLLM 原版，并集GeeeekExplorer·Python·1 年前2.9k
BitNet—微软开源的 1-bit 大模型推理框架1该项目是微软专为 CPU 本地推理和极致压缩（低比特）大模型设计的推理框架。它支持对 1-bit/1.58-bit 量化模型进行高效、低能耗的推理，兼容 Bitmicrosoft·C++·2 年前5.1k
