项目详情
由
分享
HelloGitHub 评分
10.0
4 人评分
仅需 4GB 显存就能跑 70B 大模型
过去 6 天共收获 337 颗 Star ✨
使用方向键查看日期,Home 和 End 跳至首尾,Escape 关闭提示。| 日期 | Star | 较前日 |
|---|---|---|
| 周二 | 42,125 | — |
| 周三 | 42,196 | +71 |
| 周四 | 42,257 | +61 |
| 周五 | 42,325 | +68 |
| 周六 | 42,389 | +64 |
| 周日 | 42,462 | +73 |
42.5k
星数
否
中文
Jupyter Notebook
主语言
是
活跃
18
贡献者
157
Issues
否
组织
无
最新版本
4k
Forks
Apache-2.0
协议

这是一个通过分层加载大幅降低推理显存占用的 Python 库,无需量化、蒸馏或剪枝,仅需 4GB 显存即可运行 70B 大模型。它支持 Llama 3.x、Qwen3、DeepSeek 等主流模型,并提供预取加速、8bit/4bit 量化和 macOS 支持。
评论
评分:
暂无精选评论