Hi，各位朋友们好！我是 KuiperInfer 的作者。KuiperInfer 作为一门开源课程，迄今已经在 GitHub 上已斩获 2.5k star。 如今在原课程的基础上，我们全新推出了《动手自制大模型推理框架》， 新课程支持Llama系列大模型（包括最新的LLama3.2）以及Qwen2.5系列大模型，同时支持 Cuda 加速和 Int8 量化，自推出以来便广受好评。

https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc

1. 采用最新的C++ 20标准去写代码，统一、美观的代码风格，良好的错误处理；
2. 优秀的项目管理形式，我们采用CMake+Git的方式管理项目，接轨大厂；
3. 授人以渔，教大家怎么设计一个现代C++项目，同时教大家怎么用单元测试和Benchmark去测试验证自己的项目；
4. CPU算子和CUDA双后端实现，对时新的大模型（LLama3和Qwen系列）有非常好的支持。

如果你对大模型推理感兴趣，想要深入了解并掌握相关技术，想在校招、秋招面试当中脱颖而出，那么这门《动手自制大模型推理框架》课程绝对不容错过。快来加入我们，一起开启学习之旅吧！ 感兴趣的同学欢迎扫一扫课程下方二维码或者添加微信 lyrry1997 参加课程

LLama1.1b fp32模型，视频无加速，运行平台为Nvidia 3060 laptop，速度为60.34 token/s

带领你亲手打造一个深度学习推理框架。关注我的B站空间，获取最新视频更新。

跟随本项目，从零开始自制深度学习推理框架，你将有以下收获：

1. 学习一个深度学习框架背后的知识，掌握现代C++项目的写法，调试技巧和工程经验；
2. 如何设计、编写一个计算图；
3. 实现常见的算子，卷积算子、池化算子、全连接算子等；
4. 在3的基础上，学会常见的优化手段加速算子的执行；
5. 最后你将获得一个属于自己的推理框架，可以推理resnet, unet, yolov5, mobilenet等模型，对面试和知识进阶大有裨益。

视频课程链接：https://space.bilibili.com/1822828582

第二次课程是第一次课程的重置版，内容更加充实和完善，第一次课程大纲见下方章节。

🥰 KuiperInfer当前已支持Unet网络的推理，采用carvana的预训练权重

推理复现可参考文末的 运行 Kuiper 的 demo

Demo直接使用yolov5-s的预训练权重(coco数据集)，使用KuiperInfer推理

我在b站上开了一门教学课程，目前是课程的前13次课程。课程大纲如下，主页是: https://space.bilibili.com/1822828582 , 欢迎大家关注支持。进学习群的方式如上图的二维码。

感谢以下同学对Kuiperinfer的付出

• zjhellofss
• liuxubit
• Azusachan
• wfs2010
• mlmz
• Tigerrr07
• zyt1024
• zpye
• cmcamdy
• superCB
• sanbuphy
• TypeFloat
• Jasmine-up
• PerrySkywalker
• delve-wang
• z-learner
• Meihongtao

1. 提交代码增加新功能或修改bug；
2. 提出特别有用的建议；
3. 完善文档或增加单元测试。

• 本项目相当于课程的上游或者预研项目

• 这里的每一个功能都有可能成为视频课程中的知识点，无论是我开发的还是其他同学完善的。

• 开发语言：C++ 17
• 数学库：Armadillo + OpenBlas(或者更快的Intel MKL)
• 加速库：OpenMP
• 单元测试：Google Test
• 性能测试：Google Benchmark

1. docker pull registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest
2. sudo docker run -t -i registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest /bin/bash
3. cd code
4. git clone --recursive https://github.com/zjhellofss/KuiperInfer.git
5. cd KuiperInfer
6. git checkout -b 你的新分支 study_version_0.02 (如果想抄本项目的代码，请使用这一步切换到study tag)
7. mkdir build
8. cd build
9. cmake -DCMAKE_BUILD_TYPE=Release -DDEVELOPMENT=OFF ..
10. make -j$(nproc)

Tips:

1. 如果需要对KuiperInfer进行开发，请使用 git clone --recursive https://github.com/zjhellofss/KuiperInfer.git 同时下载子文件夹tmp, 并在cmake文件中设置$DEVELOPMENT或者指定-DDEVELOPMENT=ON
2. 如果国内网速卡顿，请使用 git clone https://gitee.com/fssssss/KuiperInferGitee.git
3. 如果想获得更快地运行体验，请在本机重新编译openblas或apt install intel-mkl

1. docker build -t kuiperinfer:latest .
2. docker run --name kuiperinfer -it kuiperinfer:latest /bin/bash
3. cd /app
4. 余下步骤参考上述安装过程的步骤4-10

1. git clone --recursive https://github.com/zjhellofss/KuiperInfer.git
2. git checkout -b 你的新分支 study_version_0.01 (如果想抄本项目的代码，请使用这一步切换到study tag)
3. 安装必要环境(openblas推荐编译安装，可以获得更快的运行速度，或者使用apt install intel-mkl替代openblas)

 apt install cmake, libopenblas-dev, liblapack-dev, libarpack-dev, libsuperlu-dev

4. 下载并编译armadillo https://arma.sourceforge.net/download.html
5. 编译安装glog\google test\google benchmark
6. 余下步骤和上述一致

Tips:

1. google benchmark编译过程中，如果遇到关于gtest缺失的报错，可以在google benchmark的cmake中关闭gtest选项

请在编译后复制 tmp/unet/demo 文件夹下的 test.png 图片绝对地址或相对地址， 随后在 build/demos 中按下列格式运行推理程序

./unet_test test.png unet_demo.pnnx.param unet_demo.pnnx.bin

其中 pnnx 模型的下载地址：https://cowtransfer.com/s/09c7f337bab443

若推理成功，你将会在文件夹内看到原图的分割后结果 unet_output.jpg .

请在demos文件夹下的yolo_test.cpp文件夹中以下代码进行修改

const std::string& image_path = "imgs/car.jpg";
const std::string& param_path = "tmp/yolo/demo/yolov5s_batch8.pnnx.param";
const std::string& bin_path = "tmp/yolo/demo/yolov5s_batch8.pnnx.bin";

• image_path指定图像目录，param_path为模型的参数文件，bin_path为模型的权重文件，请替换为自己本地的路径。

• 模型定义和权重下载地址如下： https://cowtransfer.com/s/9bc43e0905cb40

• 编译完成后，在项目目录调用 ./build/demos/yolo_test

总体理念：逐步优化已经有的算子；有需要的时候再对未实现的算子进行开发

• Convolution
• AdaptivePooling
• MaxPooling
• Expression(抽象语法树)
• Flatten, View(维度展平和变形)
• Sigmoid
• HardSigmoid
• HardSwish
• ReLU
• Linear(矩阵相乘)
• Softmax
• BatchNorm
• Upsample
• SiLU
• Concat
• ConvTranspose

source是源码目录

1. data/ 是张量类Tensor的实现和Tensor初始化方法
2. layer/ 是算子的实现
3. parser/ 是Pnnx表达式的解析类
4. runtime/ 是计算图结构，解析和运行时相关

test是单元测试目录，基本做到public方法单元测试权覆盖

bench是google benchmark, 包含对MobilenetV3, Resnet18和yolov5s的性能测试。

15 核心的AMD EPYC 7543(霄龙) 32-Core Processor (Docker 容器，宿主机共有32核心)

gcc (Ubuntu 9.4.0-1ubuntu1~20.04.1) 9.4.0

耗时通过连续五次运行,并以求平均的方式计算

推理框架NCNN，已经在借鉴的代码中保留了NCNN的BSD协议 https://github.com/Tencent/ncnn

优秀的数学库Openblas: https://github.com/xianyi/OpenBLAS

优秀的数学库Armadillo: https://arma.sourceforge.net/docs.html

给予我灵感的Caffe框架: https://github.com/BVLC/caffe

fmath框架：https://github.com/herumi/fmath/