uzu—MacBook 专属的高性能 AI 推理引擎这是一个专为 Apple M 系列芯片打造的高性能、轻量级 AI 模型推理引擎。它充分利用 Apple 硬件的特性提升推理速度，并提供简单易用的 API，助你一trymirai·Rust·1 个月前795
nano-vllm—从零开始构建的轻量级 vLLM该项目是用 Python 实现的轻量级 vLLM（大语言模型推理引擎）项目，核心代码仅 1000 多行。它结构清晰、易于阅读，推理速度媲美 vLLM 原版，并集GeeeekExplorer·Python·2 个月前1.2k
BitNet—微软开源的 1-bit 大模型推理框架1该项目是微软专为 CPU 本地推理和极致压缩（低比特）大模型设计的推理框架。它支持对 1-bit/1.58-bit 量化模型进行高效、低能耗的推理，兼容 Bitmicrosoft·Python·4 个月前2.7k
