项目详情
由
分享
HelloGitHub 评分
0 人评分
开源•Apache-2.0
认领
讨论
收藏
分享
44.2k
星数
否
中文
C
主语言
是
活跃
199
贡献者
148
Issues
否
组织
无
最新版本
5k
Forks
Apache-2.0
协议
更多

这是一个用纯 C 编写的混合专家模型推理引擎,零依赖、不需要 GPU。它只把模型每次都要用到的部分留在内存,其余的专家权重在需要时再从硬盘读取,最低 8GB 内存就能运行 GLM、Kimi、DeepSeek、Qwen 等开源大模型,并提供兼容 OpenAI 和 Anthropic 的 API,适用于 Windows、Linux 和 macOS 系统。
评论
评分:
暂无精选评论