airllm

这是一个通过分层加载大幅降低推理显存占用的 Python 库，无需量化、蒸馏或剪枝，仅需 4GB 显存即可运行 70B 大模型。它支持 Llama 3.x、Qw

This is a Python library that drastically reduces inference VRAM usage via hierarchical loading. It 

仅需 4GB 显存就能跑 70B 大模型

该项目是由 vLLM 官方开源的全模态推理与服务框架，在 vLLM 基础上扩展了图像、视频、音频的输入与生成能力，同时支持自回归模型与扩散 Transforme

This project is an open-source multimodal inference and serving framework officially released by vLL

这是一个专为 Apple M 系列芯片打造的高性能、轻量级 AI 模型推理引擎。它充分利用 Apple 硬件的特性提升推理速度，并提供简单易用的 API，助你一

This is a high-performance and lightweight AI model inference engine specifically designed for Apple

该项目是用 Python 实现的轻量级 vLLM（大语言模型推理引擎）项目，核心代码仅 1000 多行。它结构清晰、易于阅读，推理速度媲美 vLLM 原版，并集

This project is a lightweight vLLM (large language model inference engine) implemented in Python. Th

该项目是微软专为 CPU 本地推理和极致压缩（低比特）大模型设计的推理框架。它支持对 1-bit/1.58-bit 量化模型进行高效、低能耗的推理，兼容 Bit

This is an inference framework designed by Microsoft specifically for CPU-based local inference and 