【玄铁杯第三届RISC-V应用创新大赛】5. yolov5n环境搭建

hehung · 发表于2023-11-19 21:56

【玄铁杯第三届RISC-V应用创新大赛】5. yolov5n环境搭建 [复制链接]

# 前言

本来打算使用google开发的mediapipe来实现手势识别的，毕竟开源，简单，上手快，在windows上搭建好了开发环境并且编写了代码成功实现几个手势的识别，但是想要往licheepi 4A上移植的时候才发现mediapipe依赖bazel，而bazel没有rasc-v的安装包，所以只能放弃。

看了官方有多种机器学习库，然后在网上搜索了一下，YOLOV5应用相对较多一些，所以尝试使用YOLOV5来实现。

参考资料：

- [https://wiki.sipeed.com/hardware/zh/lichee/th1520/lpi4a/6_peripheral.html#NPU](https://wiki.sipeed.com/hardware/zh/lichee/th1520/lpi4a/6_peripheral.html#NPU)
- [https://wiki.sipeed.com/hardware/zh/lichee/th1520/lpi4a/8_application.html#Yolov5n](https://wiki.sipeed.com/hardware/zh/lichee/th1520/lpi4a/8_application.html#Yolov5n)

# 1. NPU环境安装

NPU的环境直接在licheepi 4A上安装。

在licheepi4A上安装python环境需要使用pip，pip安装命令如下：

`sudo apt install python3-pip`

使用pip安装依赖库：

```bash
pip3 install shl-python
```

会出现如下错误，原因是避免操作系统包管理器 (如pacman、yum、apt) 和 pip 等特定于 Python 的包管理工具之间的冲突。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754595" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754595&handlekey=savephoto_754595">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

> 从上面的描述来看，推荐使用的方法也是python的虚拟环境，借助虚拟环境，可以使用不同版本的包依赖项和Python，这样就可以避免包之间的任何冲突。

## 1.1 安装虚拟环境

- 安装虚拟环境：`sudo apt install python3-venv `
- 新建虚拟环境目录：`mkdir -p $HOME/.env && python3 -m venv $HOME/.env/hehungPrj`

> 在主目录下创建了一个文件夹.env，并且在 .env 中，创建项目目录hehungPrj。
>
> 每个虚拟环境项目目录中都会有独有的 Python 和 Pip 副本，相互独立不冲突

- 激活虚拟环境：`source $HOME/.env/hehungPrj/bin/activate`
- 在虚拟环境中安装库：`pip3 install xxx`

> 退出虚拟环境，使用命令：`deactivate`

> 安装过程较慢，可以使用清华源：`-i https://pypi.tuna.tsinghua.edu.cn/simple some-package` ，即：`pip install pymsgbox -i https://pypi.tuna.tsinghua.edu.cn/simple`

## 1.2 安装依赖库

1. 安装好了虚拟环境，在虚拟环境中使用pip3安装所需库：

```bash
 pip3 install shl-python -i https://pypi.tuna.tsinghua.edu.cn/simple
```

2. 使用 --whereis 查看安装位置：

```bash
python3 -m shl --whereis th1520
# 若使用纯 CPU 推理，则替换为 python3 -m shl --whereis c920
```

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754596" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754596&handlekey=savephoto_754596">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

3. 根据打印的位置，将目录中的动态库复制到 /usr/lib 目录中

```bash
sudo cp /home/sipeed/.env/hehungPrj/lib/python3.11/site-packages/shl/install_nn2/th1520/lib/*/usr/lib/
```

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754597" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754597&handlekey=savephoto_754597">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 1.3 HHB-onnxruntime 安装

1. 下载HHB-onnxruntime：

```bash
wget https://github.com/zhangwm-pt/onnxruntime/releases/download/riscv_whl_v2.6.0/hhb_onnxruntime_th1520-2.6.0-cp311-cp311-linux_riscv64.whl
```

2. 提示wget无法识别，需要安装wget：

```bash
sudo apt-get install wget
```

3. 安装HHB-onnxruntime

```bash
pip install hhb_onnxruntime_th1520-2.6.0-cp311-cp311-linux_riscv64.whl
```

4. 安装HHB-onnxruntime

```bash
pip install hhb_onnxruntime_th1520-2.6.0-cp311-cp311-linux_riscv64.whl
```

# 2 电脑环境搭建

官方推荐使用ubuntu 20.04以及docker来搭建环境。

> 推荐环境：ubuntu20.04 系统，Docker 使用20.10.21版本。推荐使用 Docker 镜像来搭建环境。

所以我是用了windows支持的WSL2，安装ubuntu20.04，具体安装步骤本文不做赘述

1. 卸载本机可能得docker版本：

```bash
sudo apt-get remove docker docker-engine docker.io containerd runc
```

2. 安装Docker依赖的基础软件

```bash
sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
```

3. 安装Docker依赖的基础软件：

```bash
sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
```

4. 添加官方源：

```bash
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
```

5. 安装 Docker：

```bash
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io
```

6. 安装完毕后，获取 HHB 环境的 Docker 镜像：

```bash
docker pull hhb4tools/hhb:2.4.5
```

7. 拉取镜像完毕后，使用下面的命令进入 Docker 镜像：

```bash
docker run -itd --name=your.hhb2.4 -p 22 "hhb4tools/hhb:2.4.5"
docker exec -it your.hhb2.4 /bin/bash
```

8. 进入 Docker 镜像后，可使用下面的命令确认 HHB 版本：

```bash
hhb --version
```

9. 进入 Docker 镜像中后，还需要配置交叉编译环境。注意必须要使用这这里的工具链，否则编译出的二进制文件无法在 LicheePi4A 上运行。

```bash
export PATH=/tools/Xuantie-900-gcc-linux-5.10.4-glibc-x86_64-V2.6.1-light.1/bin/:$PATH
```

10. clone NPU 示例代码：

```bash
git clone https://github.com/zhangwm-pt/lpi4a-example.git
```

按照上面的步骤操作，可以成功完成，最后一步的时候，如果git clone超时终端，可以使用如下命令设置超时时间和下载最低限速：

```bash
git config --global http.postBuffer 524288000
git config --global http.lowSpeedLimit 0
git config --global http.lowSpeedTime 999999
git config --global --unset http.proxy
git config --global --unset https.proxy
```

最后一步，如果提示链接失败，就多尝试几次，没有梯子的情况下，github时好时断，有时候连接不上是正常的。

# 3 YoLoV5n环境配置

上述准备工作做完了以后，参考官方文档的步骤，一步一步来。

> 本文只讲解使用NPU的步骤。

## 3.1 获取模型

在HHB 环境的 Docker 镜像中：

```bash
mkdir -p home/licheepi4A/yolov5n
cd home/licheepi4A/yolov5n
```

2. 使用下面的命令获取模型：

```bash
git clone https://github.com/ultralytics/yolov5.git
```

3. 进入yolov5目录：

```bash
cd yolov5
```

4. 安装ultralytics:

```bash
pip3 install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple
```

pip下载过程中可能会出现报错信息，不用管，重新现在就即可。

> 需要预留足够多的空间，目测下载使用了15G

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754598" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754598&handlekey=savephoto_754598">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

5. 调用export.py来获取onnx模型

```bash
python3 export.py --weights yolov5n.pt --include onnx
```

这个过程有点漫长，耐心等待，如果下载yolov5n.pt失败了或者很长时间下载没动静，就删除已经下载的文件之后重新下载，删除命令：`rm -f yolov5n.pt`。

下载成功如下：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754599" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754599&handlekey=savephoto_754599">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

如下图，多了两个文件：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754600" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754600&handlekey=savephoto_754600">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 3.2 编译

### 3.2.1 准备所需文件

编译需要的文件在第2章节第10步骤下载的文件里面，所需文件在：docker的根目录/lpi4a-example/detection/yolov5下：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754601" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754601&handlekey=savephoto_754601">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

我们需要将这些文件复制到目录home/licheepi4A/yolov5n下，在根目录下执行：

```bash
sudo cp lpi4a-example/detection/yolov5/*home/licheepi4A/yolov5n/
```

执行之后如下（忽略hhb_out，这是编译之后生成的）：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754602" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754602&handlekey=savephoto_754602">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 3.2.2 编译

1. 退回上一级目录：`cd ..`
2. 将 ONNX 模型交叉编译成 NPU 上可执行的程序。进入/home/licheepi4A/yolov5n，然后编译

```bash
hhb -D --model-file ./yolov5/yolov5n.onnx --data-scale-div 255 --board th1520 --input-name "images" --output-name "/model.24/m.0/Conv_output_0;/model.24/m.1/Conv_output_0;/model.24/m.2/Conv_output_0" --input-shape "1 3 384 640" --calibrate-dataset kite.jpg--quantization-scheme "int8_asym"
```

出现了如下报错：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754603" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754603&handlekey=savephoto_754603">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

因为是第一次使用yolov5，也不知道是什么原因，参考了其他小伙伴的帖子才找到解决办法：

[https://www.xrvm.cn/community/post/detail?spm=a2cl5.14300636.0.0.2677c3oZc3oZnb&id=4234818980277194752](https://www.xrvm.cn/community/post/detail?spm=a2cl5.14300636.0.0.2677c3oZc3oZnb&id=4234818980277194752)

### 3.2.3 解决报错问题

根据这个博主的描述，问题原因为：yolov5n.c是模型输入尺寸为384 640，而官方的默认模型尺寸为640 640，所以尺寸不匹配当然会报错。简单的解决方法是重新指定下载的模型的大小。

1. 删除之前下载的文件:

```bash
cd yolov5/
rm -f yolov5n.pt
rm -f yolov5n.onnx
```

2. 重新指定模型大小下载：

```bash
python3 export.py --weights yolov5n.pt --include onnx --imgsz 384 640
```

### 3.2.4 继续编译

命令：

```bash
hhb -D --model-file ./yolov5/yolov5n.onnx --data-scale-div 255 --board th1520 --input-name "images" --output-name "/model.24/m.0/Conv_output_0;/model.24/m.1/Conv_output_0;/model.24/m.2/Conv_output_0" --input-shape "1 3 384 640" --calibrate-dataset soccer.jpg--quantization-scheme "int8_asym"
```

成功执行，如下：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754604" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754604&handlekey=savephoto_754604">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

编译之后的文件在hhb_out下：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754605" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754605&handlekey=savephoto_754605">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 3.2.5 g++编译

命令：

```bash
riscv64-unknown-linux-gnu-gcc yolov5n.c -o yolov5n_example hhb_out/io.c hhb_out/model.c -Wl,--gc-sections -O2 -g -mabi=lp64d -I hhb_out/ -L /usr/local/lib/python3.8/dist-packages/hhb/install_nn2/th1520/lib/ -lshl -L /usr/local/lib/python3.8/dist-packages/hhb/prebuilt/decode/install/lib/rv -L /usr/local/lib/python3.8/dist-packages/hhb/prebuilt/runtime/riscv_linux -lprebuilt_runtime -ljpeg -lpng -lz -lstdc++ -lm -I /usr/local/lib/python3.8/dist-packages/hhb/install_nn2/th1520/include/ -mabi=lp64d -march=rv64gcv0p7_zfh_xtheadc -Wl,-unresolved-symbols=ignore-in-shared-libs
```

编译成功之后生成文件夹：yolov5n_example

# 4 在licheepi4A上执行

交叉编译完成后，即可将程序执行所需的文件复制到开发板的目录中。licheepi4A联网之后，可以使用 scp 命令：

```bash
scp -r ../yolov5n sipeed@你的开发板ip:~
```

## 4.1 查询licheepi4A ip地址

使用指令：`ip addr show`

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754606" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754606&handlekey=savephoto_754606">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 4.2 拷贝执行文件到licheepi4A

知道了IP地址，完整的命令如下，表示将文件拷贝到用户根目录下：

```bash
scp -r ../yolov5n sipeed@192.168.6.112:~
```

弹出提示信息，输入yes，之后属于licheepi4A的登录密码即可。

## 4.3 查看NPU驱动

使用命令 `lsmod`查看NPU驱动是否加载，没加载无法运行模型，若在输出中有 `img_mem`，`vha` 和 `vha_info` 这三个模块，NPU驱动即加载成功。我运行如下：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754607" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754607&handlekey=savephoto_754607">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

表示没有记载成功，我又看了一下官方教程，需要20230920之后的镜像，所以我还需要再次更新一个镜像

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_754608" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=754608&handlekey=savephoto_754608">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

暂时到这，等镜像更新好了补充...

Jacktang · 发表于2023-11-19 22:33

. yolov5n环境搭建步骤还是不少的

hehung · 发表于2023-11-20 08:19

Jacktang 发表于 2023-11-19 22:33 . yolov5n环境搭建步骤还是不少的

是的，相当繁琐

chejm · 发表于2023-11-23 19:47

感谢楼主提供的技术分享，先收藏学习再发表个人意见，顶起来

【玄铁杯第三届RISC-V应用创新大赛】5. yolov5n环境搭建 [复制链接]

最新回复

点评