下拉刷新
项目详情
由navbar_avatar分享
repo_avatar
HelloGitHub 评分
0 人评分
无需显卡运行千亿参数模型
开源•Apache-2.0
认领
收藏
分享
44.2k
星数
否
中文
C
主语言
是
活跃
199
贡献者
148
Issues
否
组织
无
最新版本
5k
Forks
Apache-2.0
协议
更多
colibri image
这是一个用纯 C 编写的混合专家模型推理引擎,零依赖、不需要 GPU。它只把模型每次都要用到的部分留在内存,其余的专家权重在需要时再从硬盘读取,最低 8GB 内存就能运行 GLM、Kimi、DeepSeek、Qwen 等开源大模型,并提供兼容 OpenAI 和 Anthropic 的 API,适用于 Windows、Linux 和 macOS 系统。
收录于:
第 127 期
标签:
推理框架
C

评论

评分:
暂无精选评论