1.先安装好opencv
2.将模型.pth转化成onnx文件
yolov5的github上有具体的方法
3.安装onnx-simplifier
3.1: pip install onnx-simplifier (具体该工具的作用自行百度)
3.2: python -m onnxsim ./yolov5.onnx ./yolo5-sim.onnx (简化转换得到的onnx)
4. ncnn代码库
4.1ncnn代码库的编译
make -j4改成make install就能生成install文件夹,方便其他的工程调用
4.2模型转换
基于build文件夹
cd tools/onnx
./onnx2ncnn your-yolov5s-path/yolov5-sim.onnx the-path-to-save/yolov5-sim.param the-path-to-save/yolov5-sim.bin
运行到该步骤时会出现下面的问题,问题出现的原因时下图中的split和crop网络层高在ncnn中没有定义的缘故,我们需要做的是将这个网络层消除:
5.ncnn格式模型修改
5.1 去掉不支持的网络层
打开转换得到的yolov5-sim.param文件
前几行的内容如下,我们需要删除的是标红的部分。
修改结果如下,其中180是由于之前的189网络层我们删除了10行,并用YoloV5Focus网络层代替,剩180个,而YoloV5Focus网络层中的images代表该层的输入,199代表输出名,这个可以根据标红的位置填写。(转化得到的param文件不一样,前两行也就不一样)
5.2修改网络的输出shape
当我们基于修改后的网络使用ncnn/examples/yolov5测试时发现图片中会出现一堆乱框,该情况下需要修改网络的输出部分
首先,在yolov5-sim.param中找到网络的输出接口:
图中绿框部分就是最终的网络输出层(由于网络层数设置的区别,不同的网络所在的位置不一样),该层中红框选中的部分就是网络的输出名(要保证yolov5.cpp中调用的输出名和网络的一致性,yolov5.cpp中的调用方式如下C代码)。在并保证输出名一致的情况下,修改黄色框中区域为0=-1,使得最终的输出shape不固定。结果见图:
本地测试:ncnn/examples/yolov5.cpp中修改如下部分(只改前两行就行)
修改输出接口及对应的anchors
只根据param文件的最后几层修改第4、23、40行就行
编译
make -j4
将yolov5-sim.param 、yolov5-sim.bin模型copy到ncnn/build/examples/位置,运行下面命令
./yolov5 image-path
image-path 是存放图片的位置
6.量化or压缩
半浮点压缩为例
./ncnnoptimize yolov5-sim.param yolov5-sim.bin yolov5-sim-opt.param yolov5-sim-opt.bin 65536
onnx转换成ncnn模型后,直接使用上述的命令转换会出现下面的问题:
由于YoloV5Focus不涉及参数的计算,故我们只需将.param中的YoloV5Focus名字换成其他已知的,且不参与运行的网络层,如Exp
然后运行命令即可(后面再进行网络输出相关问题的修改即可,至于二者的顺序是否可以改变请自行测试)。
转换完成后再将yolov5-sim-opt.param中的Exp名字改为YoloV5Focus即可。一定要改回来!!!
转换时命令行会出现如下问题
已测试该问题并不影响网络的调用。
over!
参考:https://blog.csdn.net/qq_41669468/article/details/110485396
https://zhuanlan.zhihu.com/p/275989233
o
Nanodet ncnn实现
1.用nanodet自带的onnx转换工具将ckpt模型转成onnx
python tools/export_onnx.py --cfg_path${CONFIG_PATH}--model_path${PYTORCH_MODEL_PATH}
2.简化模型
python -m onnxsim${INPUT_ONNX_MODEL}${OUTPUT_ONNX_MODEL}
3.onnx2ncnn转成param和bin文件
参考yolov5中4.2步
4.优化模型
Nanodet基于视频的检测
用到的param和bin文件在数梅派ped/nanodet-main/demo_ncnn
笔记本电脑param和bin文件存在toolpackage/ncnn/onnx2ncn和/toolpackage/ncnn-mine/examples/bin-param
一、用自己的use_camera工程
文件在数梅派ped/nanodet-main/use_camera
主cpp文件和nanodet.h里面规定了检测的类别及输入神经网络的图像的size,所以需要根据自己模型的情况修改
这个文件夹里面的ncnn文件夹是NCNN库文件里面的install文件夹
进入build文件夹运行
./nanodet_camera
二、用nanodet自带的ncnn文件夹
文件在数梅派ped/nanodet-main/demo_ncnn
首先要export总ncnn文件夹里面的install的静态库文件
exportncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn
主cpp文件和nanodet.h里面规定了检测的类别及输入神经网络的图像的size,所以需要根据自己模型的情况修改
摄像头检测
进入build文件夹运行
./nanodet_demo 0 0