项目详情
由
分享
HelloGitHub 评分
0 人评分
基于 Hopper GPU 的 MLA 内核优化
过去 7 天共收获 10 颗 Star ✨
使用方向键查看日期,Home 和 End 跳至首尾,Escape 关闭提示。| 日期 | Star | 较前日 |
|---|---|---|
| 周二 | 13,247 | — |
| 周三 | 13,252 | +5 |
| 周四 | 13,252 | 0 |
| 周五 | 13,251 | -1 |
| 周六 | 13,255 | +4 |
| 周日 | 13,256 | +1 |
| 周一 | 13,257 | +1 |
13.3k
星数
否
中文
C++
主语言
是
活跃
20
贡献者
149
Issues
是
组织
无
最新版本
1k
Forks
MIT
协议
这是一款专为 Hopper 架构 GPU 设计的高效 MLA 解码内核,旨在提升大规模语言模型(LLM)的推理效率。它采用 C++ 和 CUDA 开发,通过 NVIDIA 的 CUTLASS 库和分页缓存技术,解决了传统方法在处理变长序列时的性能瓶颈,并显著提升了内存带宽和计算效率。
评论
评分:
暂无精选评论