【玄铁杯第三届RISC-V应用创新大赛】LicheePi 4A Yolov5n的HHB编译问题记录

DDZZ669

【玄铁杯第三届RISC-V应用创新大赛】LicheePi 4A Yolov5n的HHB编译问题记录 [复制链接]

 

[上篇文章](https://bbs.eeworld.com.cn/thread-1258173-1-1.html)测试了YOLOX，可能是没使用NPU的原因，通过摄像头实时进行AI识别，速度较慢。 本篇来测试官方文档中介绍的带有NPU功能的Yolov5n例程，记录遇到的问题。 LicheePi4A 板载了一颗支持 4TOPS<a href="https://bbs.eeworld.com.cn/home.php?mod=space&uid=721506" target="_blank">@Int8</a> 通用 NNA 算力，主频 1GHz 的 NPU。测试使用NPU跑YOLOv5例程，需要在自己的电脑上搭建 HHB 开发环境，用于交叉编译为 LicheePi4A 上的可执行程序。 # 1 虚拟机上搭建HHB开发环境 ## 1.1 拉取Docker镜像 官方文档在介绍，推荐使用ubuntu20.04 系统以及Docker 镜像来搭建环境。 我之前装过ubuntu18的虚拟机，为了避免出现不必要的问题，我重新装了ubuntu22，高版本应该还好。 ```sh #卸载可能存在的Docker版本 sudo apt-get remove docker docker-engine docker.io containerd runc #安装Docker依赖的基础软件 sudo apt-get update sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common #添加官方源 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" #安装Docker sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io #获取HHB环境的Docker镜像 --这个过程耗时比较长 sudo docker pull hhb4tools/hhb:2.4.5 ``` 拉取镜像的过程中，如果长时间无进度变化，可尝试重启Docker，然后重新拉取： ```sh systemctl restart docker ```  拉取完成后的效果如下：  ## 1.2 配置交叉编译环境 拉取完成后，进入Docker，进行交叉编译环境的配置： ```sh #进入Docker镜像 sudo docker run -itd --name=your.hhb2.4 -p 22 "hhb4tools/hhb:2.4.5" sudo docker exec -it your.hhb2.4 /bin/bash #确认HHB版本 hhb --version #配置交叉编译环境 export PATH=/tools/Xuantie-900-gcc-linux-5.10.4-glibc-x86_64-V2.6.1-light.1/bin/:$PATH ```  ## 1.3 如何重新进入Docker 如果不小心退出了命令行或虚拟机，可使用如下方式重新进入Docker ```sh sudo docker ps -a sudo docker restart your.hhb2.4 sudo docker exec -it your.hhb2.4 /bin/bash ```  ## 1.4 退出Docker 退出当前命令行窗口中的Docker: ```sh exit ``` 通过新的命令行窗口，退出运行的Docker: ```sh sudo docker ps -a sudo docker stop <容器ID> exit ``` # 2 Yolov5简介 YOLOv5有许多不同的变体，如 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 和 YOLOv5n，它们表示不同大小和复杂性的模型。 | Yolov5类型 | 后缀含义 | 特点 | | ---------- | --------------------------------------------- | ------------------------------------------------------------ | | YOLOv5s | small，最小的模型 | 在计算资源有限的设备上表现最佳，如移动设备或边缘设备 | | YOLOv5m | medium，中等大小的模型 | 在速度和准确度之间提供了较好的平衡，适用于具有一定计算能力的设备 | | YOLOv5l | large，较大的模型 | 准确度相对较高，但检测速度较慢。适用于需要较高准确度，且具有较强计算能力的设备 | | YOLOv5x | extra large，最大的模型 | 准确度方面表现最好，但检测速度最慢。适用于需要极高准确度的任务，且具有强大计算能力（如 GPU）的设备 | | YOLOv5n | 专为Nano设备（如 NVIDIA Jetson Nano）进行优化 | 在保持较快速度的同时，提供适用于边缘设备的准确度 |  # 3 Yolov5n测试 ## 3.1 交叉编译 进入到 HHB 环境的 Docker 镜像中，下载yolov5项目源码到示例目录/home/example/th1520_npu/yolov5n中： ```sh cd /home/example/th1520_npu/yolov5n git clone https://github.com/ultralytics/yolov5.git ``` 如果直接在ubuntu的Docker无法获取github，可以先在其它地方下载下载下来，然后复制到Docker中： ```sh sudo docker cp yolov5/ 299aaaa9eef5:/home/example/th1520_npu ```  > 使用如下代理加速加载的方式，直接在板子中下载github中代码： > > ``` > git clone https://ghproxy.com/https://github.com/ultralytics/yolov5.git > ``` > > 具体介绍见：https://ghproxy.com/ 然后在Docker中安装ultralytics，并调用export.py来获取onnx模型： ```sh cd yolov5 pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple ultralytics python3 export.py --weights yolov5n.pt --include onnx ``` 实际运行结果如下图，运行后会多出两个文件： - yolov5n.pt - yolov5n.onnx  将ONNX模型交叉编译成 NPU 上可执行的程序，使用官方文档中的hhb命令: ```sh cd /home/example/th1520_npu/yolov5n hhb -D --model-file yolov5n.onnx --data-scale-div 255 --board th1520 --input-name "images" --output-name "/model.24/m.0/Conv_output_0;/model.24/m.1/Conv_output_0;/model.24/m.2/Conv_output_0" --input-shape "1 3 384 640" --calibrate-dataset kite.jpg--quantization-scheme "int8_asym" ``` 注意上面的参数yolov5n.onnx，此文件实际是在yolov5目录中，直接运行这条编译，会报错找不到此文件。 那将此参数改为 yolov5/yolov5n.onnx，整条命令如下： ```sh hhb -D --model-file yolov5/yolov5n.onnx --data-scale-div 255 --board th1520 --input-name "images" --output-name "/model.24/m.0/Conv_output_0;/model.24/m.1/Conv_output_0;/model.24/m.2/Conv_output_0" --input-shape "1 3 384 640" --calibrate-dataset kite.jpg--quantization-scheme "int8_asym" ``` 运行后还是报错了：  再尝试将yolov5n.onnx和yolov5n.pt这两个文件拷贝到yolov5n目录，使用未修改的这里编译，也是报如上的错误。 附：选项说明，以及[HHB 用户手册](https://www.yuque.com/za4k4z/oxlbxl) | 参数 | 缩写 | 说明 | | --------------------- | ---- | ------------------------------------------- | | -D | 无 | 指定 HHB 流程执行到生成可执行文件的阶段为止 | | --model-file | -f | 指定当前目录中已经下载好的 yolov5 模型 | | --data-scale-div | -sv| 输入数据的归一化数值缩放，默认数值是1 | | --board | 无 | 指定目标平台为 th1520 | | --input-name | -in| 定模型的输入节点名字，多个输入用分号分隔 | | --output-name | -on| 指定模型的输出节点名字，多个输出用分号分隔| | --input-shape | -is| 指定模型的输入节点形状，多个输入用分号分隔| | --calibrate-dataset | -cd| 指定量化时所需的校准图片 | | --quantization-scheme | 无 | 指定量化方式为int8非对称 | ## 3.2 重新尝试一次 官方文档中建议使用Ubuntu20.04，我刚才用的Ubuntu22.04，不确定是否有影响。那重新装个Ubuntu20.04的虚拟机试下。 实测仍有相同的问题，这里记录一些截图。 获取 HHB 环境的 Docker 镜像完成：  开始安装ultralytics：  安装ultralytics完成后，运行python程序获取onnx模型：  直接在yolov5n目录运行hhb编译会报错找不到yolov5n.onnx文件  将其复制出来，仍然报错：  不确定是否虚拟机的问题，是否只能在实体Ubuntu电脑上进行操作。 # 4 总结 本篇介绍了按照官方文档，尝试进行Yolov5n的测试，包括在Ubuntu虚拟机上通过Docker搭建NPU的HHB 环境，以及Yolov5的HHB模型编译，记录在编译时遇到的问题。 附：LicheePi 4A的Yolov5n文档 https://wiki.sipeed.com/hardware/zh/lichee/th1520/lpi4a/8_application.html#Yolov5n

DDZZ669

问题已解决，可以在板子中运行了，解决记录见下一篇：https://bbs.eeworld.com.cn/thread-1260334-1-1.html （文章被审核通过后可见）