项目详情
由
分享
HelloGitHub 评分
0 人评分
无需显卡运行千亿参数模型
过去 7 天共收获 1.8k 颗 Star ✨
使用方向键查看日期,Home 和 End 跳至首尾,Escape 关闭提示。| 日期 | Star | 较前日 |
|---|---|---|
| 周二 | 49,754 | — |
| 周三 | 49,967 | +213 |
| 周四 | 50,427 | +460 |
| 周五 | 50,848 | +421 |
| 周六 | 51,119 | +271 |
| 周日 | 51,354 | +235 |
| 周一 | 51,573 | +219 |
51.6k
星数
否
中文
C
主语言
是
活跃
220
贡献者
198
Issues
否
组织
无
最新版本
6k
Forks
Apache-2.0
协议

这是一个用纯 C 编写的混合专家模型推理引擎,零依赖、不需要 GPU。它只把模型每次都要用到的部分留在内存,其余的专家权重在需要时再从硬盘读取,最低 8GB 内存就能运行 GLM、Kimi、DeepSeek、Qwen 等开源大模型,并提供兼容 OpenAI 和 Anthropic 的 API,适用于 Windows、Linux 和 macOS 系统。
评论
评分:
暂无精选评论