【玄铁杯第三届RISC-V应用创新大赛】LicheePi 4A Yolov5n编译问题解决与demo测试

DDZZ669

【玄铁杯第三届RISC-V应用创新大赛】LicheePi 4A Yolov5n编译问题解决与demo测试 [复制链接]

 

<i class="pstatus"> 本帖最后由 DDZZ669 于 2023-10-22 17:38 编辑 </i> 上篇文章：[LicheePi 4A Yolov5n的HHB编译问题记录](https://bbs.eeworld.com.cn/thread-1259381-1-1.html)中，使用Ubuntu的Docker环境进行hhb编译时，遇到了报错。 本篇，记录问题的解决，以及后续继续进行gcc编译遇到的问题与解决，以及最终在板子中运行yolov5n的demo例程。 # 1 解决编译问题 参考dragonforward的这篇：[LicheePi 4A Yolov5n的HHB编译顺利通过的环境](https://xuantie.t-head.cn/community/post/detail?spm=a2cl5.14300636.0.0.2677c3oZc3oZnb&id=4234818980277194752)，编译报错的主要问题是尺寸不对。 ## 1.1 修改尺寸 > 问题出现的原因：yolov5n.c是模型输入尺寸为384x640，而官方的默认模型尺寸为640x640，所以尺寸不匹配当然会报错，所以解决方法有两种： > > - 一种是修改onnx尺寸 > - 一种是修改yolov5n.c文件 可以查看yolov5n.c文件，看到有384x640的尺寸定义。  简单的方式就是使用第一种方式重新导出尺寸为384x640的onnx文件。 下面介绍重新导出onnx文件。 重新进入Docker： ```sh sudo docker restart your.hhb2.4 sudo docker exec -it your.hhb2.4 /bin/bash ``` 然后重新使用python程序导出正确尺寸的onnx模型，注意下面指令最后多了指定的尺寸： ```sh python3 export.py --weights yolov5n.pt --include onnx --imgsz 384 640 ```  ## 1.2 再次编译 ```sh cd /home/example/th1520_npu/yolov5n cp yolov5/yolov5n.onnx . hhb -D --model-file yolov5n.onnx --data-scale-div 255 --board th1520 --input-name "images" --output-name "/model.24/m.0/Conv_output_0;/model.24/m.1/Conv_output_0;/model.24/m.2/Conv_output_0" --input-shape "1 3 384 640" --calibrate-dataset kite.jpg--quantization-scheme "int8_asym" ``` 命令执行完成后，会在当前目录生成 hhb_out 子目录，里面的包括了 hhb_runtime，model.c 等多个文件： - hhb.bm：HHB 的模型文件，包括了量化后的权重数据等信息 - hhb_runtime：th1520 平台上的可执行文件，由目录中的c文件编译而成 - main.c：临时文件，示例程序的参考入口 - model.c：临时文件，模型结构文件，与模型结构相关 - model.params：临时文件，权重数值 - io.c：临时文件，读写文件的辅助函数 - io.h：临时文件，读写文件的辅助函数声明 - process.c：临时文件，图像预处理函数 - process.h：临时文件，图像预处理函数声明 更详细的 HHB 选项说明可以参考 [HHB用户手册](https://www.yuque.com/za4k4z/oxlbxl/keyg70qggt5n3fpa)中的命令行选项说明。  如上，此次hhb指令编译成功了 ## 1.3 g++编译c程序 编译出hhb_out文件中的结果之后，然使用g++编译yolov5n.c的demo程序。 注意，每次重新进入Docker环境后，之前提到的下面这句PATH环境是临时的，在执行gcc编译前要再配置一次。 ```sh export PATH=/tools/Xuantie-900-gcc-linux-5.10.4-glibc-x86_64-V2.6.1-light.1/bin/:$PATH ``` 如果没有配置，直接执行下面的gcc指令，虽然不会报错，但放到板子中使用python程序中os.system接口进行调用，会提示一个文件找不到的问题，后面会展示这个问题。 ```sh riscv64-unknown-linux-gnu-gcc yolov5n.c -o yolov5n_example hhb_out/io.c hhb_out/model.c -Wl,--gc-sections -O2 -g -mabi=lp64d -I hhb_out/ -L /usr/local/lib/python3.8/dist-packages/hhb/install_nn2/th1520/lib/ -lshl -L /usr/local/lib/python3.8/dist-packages/hhb/prebuilt/decode/install/lib/rv -L /usr/local/lib/python3.8/dist-packages/hhb/prebuilt/runtime/riscv_linux -lprebuilt_runtime -ljpeg -lpng -lz -lstdc++ -lm -I /usr/local/lib/python3.8/dist-packages/hhb/install_nn2/th1520/include/ -malsbi=lp64d -march=rv64gcv0p7_zfh_xtheadc -Wl,-unresolved-symbols=ignore-in-shared-libs ``` 编译命令正确执行完成后会在示例目录生成 yolov5n_example 文件  然后可以通过scp指令，将整个yolov5n文件夹复制到板子中，例如我的指令： ```sh cd .. scp -r yolov5n sipeed@192.168.5.110:~/Desktop/tfcard ``` # 2 板子中运行 先确认开发板中NPU相关驱动是否加载：  若在输出中有 img_mem，vha和 vha_info这三个模块，NPU驱动即加载成功。 然后进入之前配置过的python虚拟环境（见之前的文章：[LicheePi 4A YOLOX初体验与USB摄像头测试](https://bbs.eeworld.com.cn/thread-1258173-1-1.html)），进入和退出虚拟环境的指令如下： ```sh #激活虚拟环境 source ~/Desktop/tfcard/yoloxTest/ort/bin/activate #退出当前虚拟环境 deactivate ``` ## 2.1 演示一种出错的情况 前面提到，在Ubuntu的Docker环境中使用gcc编译yolov5n.c时，如果没有配置PATH变量，编译出的yolov5n_example文件在板子中被python调用会有问题，下面展示会出现的问题。 在开发板相应目录下运行刚刚编译好的示例： ```sh python3 inference.py ```  查看inference.py，使用os.system调用yolov5n_example的时候报了错  这里使用的是相对路径，yolov5n_example文件就在当前目录，却提示找不，就有点奇怪。尝试改为绝对路径，依然不能运行。 ## 2.2 问题分析与解决 在板子中，使用python写一个测试程序，仅测试os.system调用文件是否能正常运行。 001-system.py: ```python import os my_cmd = "./test2.sh 3 4" print("******* test:%s ********" %(my_cmd)) os.system(my_cmd) my_cmd = "./hello" print("******* test:%s ********" %(my_cmd)) os.system(my_cmd) my_cmd = "./test1" print("******* test:%s ********" %(my_cmd)) os.system(my_cmd) ``` 实测发现： - os.system可以正常调用sh脚本 - 也可以正常调用之前编译的hello文件（hello文件的编译见：[LicheePi 4A 编程环境与系统扩容测试](https://bbs.eeworld.com.cn/thread-1258074-1-1.html)） - 调用yolov5n_example文件（这里我重命名为了test1）就是不行 由此猜测，可能是文件的问题，使用file指令查对比看hello文件和test1文件：  可以发现是有点区别。 回到Ubuntu的Docker环境中，查看yolov5n_example文件信息。 配置PATH环境变量后，重新进行gcc编译，然后再查看yolov5n_example文件信息。  对比发现，配置PATH环境变量重新编译后，文件信息确有不同。 将重新编译的文件放到板子中，使用python程序测试，可以将001-system.py再补充下面的测试代码： ```python my_cmd = "./yolov5n_example" print("******* test:%s ********" %(my_cmd)) os.system(my_cmd) ``` 这次使用os.system调用yolov5n_example文件，没有再报找不到yolov5n_example文件了：  对比file信息，区别在于链接库的信息不一样。 ## 2.3 成功运行 将重新编译的yolov5n_example文件复制到板子中的yolov5n目录，再次调用inference.py，这次可以运行了。 执行完成后，会在终端上提示执行到的各个阶段： - 预处理（preprocess image）：将原图填充缩放到 384 * 640 的大小 - 模型执行和后处理（run yolov5 and postprocess）：执行模型推理，并做 nms 等后处理 - 画框（draw bbox）：将检测结果画在 384 *640 尺寸的图上，并输出新图片 执行信息中有一行警告和一个FATAL信息，不过最后也有输出结果了，多了一个kite_result.jpg：  inference.py 执行会使用到的文件： - kite.jpg：输入图片 - image_preprocessed.bin：预处理阶段，根据输入图片生成的中间结果 - yolov5n_example：模型执行阶段使用的文件，由x86主机上 gcc 编译生成 - hhb_out/hhb.bm：模型执行阶段使用的文件，由x86主机上 HHB 生成 - detect.txt：后处理阶段的输出文件，包括了图片中检测出来的 4 个目标 - kite_result.jpg：输出图片，将检测框加入到输入图上的结果 打开kite_result.jpg文件，可以看到识别结果：  # 3 总结 本篇解决了上篇使用Ubuntu的Docker环境进行hhb编译时，遇到的报错问题，通过重新编译正确尺寸的onnx文件解决。 然后使用gcc编译yolov5n.c的demo程序，并记录若未配置PATH环境变量，在板子中执行会遇到的文件找不到的问题。 正确进行PATH环境变量配置，编译正确的yolov5n_example文件后，在板子中可以正常运行。

nmg

顺利解决也，不错

sss421

有实测帧率能到多少吗？

DDZZ669

sss421 发表于 2023-10-28 22:27 有实测帧率能到多少吗？

还没测过实时识别视频的