下拉刷新
项目详情
由navbar_avatar分享
repo_avatar
HelloGitHub 评分
0 人评分
DeepSeek 开源的大模型推理框架
开源•Apache-2.0
认领
收藏
分享
23.4k
星数
否
中文
Python
主语言
是
活跃
4
贡献者
216
Issues
是
组织
无
最新版本
3k
Forks
Apache-2.0
协议
更多
DeepInfer image
该项目是 DeepSeek 线上大规模服务所用的高性能推理框架,提供离线推理和大规模部署所需的核心功能。它集成了 FlashMLA、DeepGEMM、DeepEP 等自研优化算子,支持注意力数据并行、MoE 专家并行、异步调度、确定性采样和结构化输出,可运行在英伟达和华为昇腾 NPU 上。
收录于:
第 127 期
标签:
推理框架
AI
Python

评论

评分:
暂无精选评论