#AI挑战营（进阶）# 模型部署

lijinlei

#AI挑战营（进阶）# 模型部署 [复制链接]

# #AI挑战营（进阶）# 模型部署

本文介绍了将前面获得的模型转化后，部署至开发板的主要流程，包括RKNN模型转化、SDK部署、编译工程、移植工程、运行和测试工程。

## 简介

这里先介绍几个概念

- **ONNX**（Open Neural Network Exchange）是一个开放的生态系统，它允许AI开发者在不同的框架和工具之间轻松地移动模型。ONNX定义了一个用于机器学习模型的开放格式，使得模型可以在不同的深度学习框架之间进行转换和使用；

- **RKNN**（Rockchip Neural Network）是瑞芯微电子公司为其NPU（神经网络处理单元）设计的一套工具和库。它支持将多种深度学习框架训练的模型转换为RKNN格式，进而在Rockchip NPU上进行高效的推理；

- **NPU** （Nerual Processing Unit）神经网络处理单元，专门设计用于高效执行深度学习模型推理的硬件加速器；

- **RKNPU** 内置于瑞芯微处理器的 NPU 被称为 RKNPU；

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877743" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877743&handlekey=savephoto_877743">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

LuckFox Pico 系列开发板了搭载瑞芯微 RV1103/RV1106 芯片，内置瑞芯微自研第 4 代 NPU。该 NPU 具有高运算精度，支持int4、int8、int16混合量化。其中，int8 算力为 0.5TOPs，int4 算力可达 1.0TOPs。

RKNPU4.0 被划分为 RKNPU2，因此要使用 RKNPU2 的 SDK 和工具套件。

### rknn-Toolkit2

RKNN-Toolkit2 工具在 PC 平台上提供 C 或 Python 接口，简化模型的部署和运行。用户可以通过该工具轻松完成以下功能：模型转换、量化、推理、性能和内存评估、量化精度分析以及模型加密。RKNN 软件栈可以帮助用户快速的将 AI 模型部署到 Rockchip 芯片。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_877742_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>RKNN_framework.jpg</strong> <em class="xg1">(26.64 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877742" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877742&handlekey=savephoto_877742">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

为了使用 RKNPU，用户需要先在电脑上运行 RKNN-Toolkit2 工具，将训练好的模型转换为 RKNN 格式的模型，然后在开发板上使用 RKNN C API 或 Python API 进行推理。

- RKNN-Toolkit2 是一款软件开发套件，供用户在 PC 和 Rockchip NPU 平台上进行模型转换、推理和性能评估。
- RKNN-Toolkit-Lite2 为 Rockchip NPU 平台提供 Python 编程接口，帮助用户部署 RKNN 模型，加速 AI 应用的落地。
- RKNN Runtime 为 Rockchip NPU 平台提供 C/C++ 编程接口，帮助用户部署 RKNN 模型，加速 AI 应用的落地。
- RKNPU 内核驱动负责与 NPU 硬件交互。它一直是开源的，可以在 Rockchip 内核代码中找到。

支持的平台包括

- RK3588 Series
- RK3576 Series
- RK3566/RK3568 Series
- RK3562 Series
- RV1103/**RV1106**
- RV1103B/RV1106B
- RK2118

根据 [rknn-toolkit2](https://github.com/airockchip/rknn-toolkit2) 支持的 Python 版本，这里使用较新的 Python 3.12

使用虚拟机安装 Ubuntu 系统，或安装 Anaconda 软件，镜像[下载](https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/) .

安装 Python 3.12 或其他适用版本。

克隆 rknn-toolkit2

```bash
git clone https://github.com/airockchip/rknn-toolkit2
```

> 该安装包或压缩包需占用 1.44 G 空间，注意分配

安装 rknn-toolkit2 所需 Python 环境

```bash
sudo apt-get update
sudo apt-get install python3 python3-dev python3-pip
sudo apt-get install libxslt1-dev zlib1g zlib1g-dev libglib2.0-0 libsm6 libgl1-mesa-glx libprotobuf-dev gcc
```

安装依赖包

```bash
pip3 install -r rknn-toolkit2/packages/requirements_cp312-1.6.0.txt
```

安装 rknn-toolkit2

```
pip3 install rknn-toolkit2/packages/rknn_toolkit2-1.6.0+81f21f4d-cp310-cp310-linux_x86_64.whl
```

验证 rknn-toolkit2 是否安装成功

```python
from rknn.api import RKNN
```

### Conda

[下载](https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_24.11.1-0-Linux-x86_64.sh) 并安装 Conda

```bash
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_24.11.1-0-Linux-x86_64.sh
chmod 777 Miniconda3-py39_24.11.1-0-Linux-x86_64.sh
bash Miniconda3-py39_24.11.1-0-Linux-x86_64.sh
```

安装需要阅读许可协议等，按 Enter 键即可。

> 注意这里需要新建 conda 环境，名称和密码等信息；
>
> 这里使用 `toolkit2` 命名环境。

最后需要关闭并重新打开终端才可执行 conda 指令。

输入 `conda -V` 查询当前 conda 版本，或 `conda env list` 查询环境列表

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_877741_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>conda_list.jpg</strong> <em class="xg1">(27.19 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877741" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877741&handlekey=savephoto_877741">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

创建 RKNN-Toolkit2 的 Conda 开发环境

```bash
conda create -n RKNN-Toolkit2 python=3.12
```

安装 RKNN-Toolkit2 的 Python 依赖库

```python
pip install tf-estimator-nightly==2.8.0.dev2021122109 
pip install -r /home/ljl/rv1106/rknn-toolkit2-2.3.0/rknn-toolkit2/packages/x86_64/requirements_cp38-1.6.0.txt -i https://pypi.mirrors.ustc.edu.cn/simple/
```

> 这里已下载 rknn-toolkit2 的相关文件，通过镜像安装所需 Python 库文件。

安装 RKNN-Toolkit2

```python
pip install /home/ljl/rv1106/rknn-toolkit2-2.3.0/rknn-toolkit2/packages/x86_64/rknn-toolkit2/packages/x86_64/rknn_toolkit2-2.3.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
```

> 注意这里需要安装 cp39 版本，更高版本的 .whl 提示环境问题无法安装。

激活 Conda 环境 toolkit2

```bash
conda env list
conda activate toolkit2
```

克隆 rknn_model_zoo

```bash
git clone https://github.com/airockchip/rknn_model_zoo.git
```

rknn_model_zoo 文件夹下新建文件夹，用来放置前面训练出来的 ONNX 模型

```bash
mkdir myONNXmodel
cd myONNXmodel
ls
```

新建 `transfer.py` 文件执行 Python 转换代码

通过 Python 脚本执行模型转换

```python
from rknn.api import RKNN

# Create RKNN object
rknn = RKNN(verbose=True)

# pre-process config
print('--> config model')
rknn.config(target_platform='rv1106', mean_values=[[28]], std_values=[[28]])
print('done')

# Load model
print('--> Loading model')
ret = rknn.load_onnx(model='./mnist_101_model.onnx')
if ret != 0:
  print('Load model failed!')
  exit(ret)
print('done')

rknn.build(do_quantization=True, dataset='./data.txt')# 构建RKNN模型，可选参数量化
if ret != 0:
  print('Build model failed!')
  exit(ret)
print('done')

ret = rknn.export_rknn('./mnist.rknn')# 导出RKNN模型文件
if ret != 0:
  print('Export rknn model failed!')
  exit(ret)
print('done')

# 释放 RKNN 对象
rknn.release()
```

在 myONNXmodel 文件夹下新建 pic 文件夹

新建 data.txt 文件，指定数据集

`./pic/0-label-5.png`

运行转换python文件 transfer.py

转换可得到目标 rknn 格式文件。

### ADB

通过 ADB 方式登录开发板，详见：[ADB 登录 | LUCKFOX WIKI](https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-Login-ADB) 。

使用 TypeC-USB 数据线连接电脑和开发板

1.系统安装 ADB 驱动，并将 ADB 文件夹路径添加至系统环境变量；

2.打开 CMD 命令行终端，输入 `adb devices` 查询已连接设备；

```powershell
C:\Users\h2457>adb devices
List of devices attached
bd547ee6900c058b  device
```

3.输入 `ifconfig` [查询](https://www.oryoy.com/news/shi-yong-adb-ming-ling-zai-android-she-bei-shang-cha-kan-he-pei-zhi-ip-di-zhi-de-xiang-xi-zhi-nan.html)设备 ip 地址；

```powershell
C:\Users\h2457>adb shell
# ifconfig
eth0  Link encap:EthernetHWaddr FE:E7:53:CE:CA:22
    inet addr:192.168.253.10Bcast:192.168.253.255Mask:255.255.255.0
    UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
    RX packets:299 errors:0 dropped:0 overruns:0 frame:0
    TX packets:2 errors:0 dropped:0 overruns:0 carrier:0
    collisions:0 txqueuelen:1000
    RX bytes:21738 (21.2 KiB)TX bytes:684 (684.0 B)
    Interrupt:52

lo  Link encap:Local Loopback
    inet addr:127.0.0.1Mask:255.0.0.0
    UP LOOPBACK RUNNINGMTU:65536Metric:1
    RX packets:0 errors:0 dropped:0 overruns:0 frame:0
    TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
    collisions:0 txqueuelen:1000
    RX bytes:0 (0.0 B)TX bytes:0 (0.0 B)

usb0  Link encap:EthernetHWaddr 5E:49:D7:B7:E0:97
    inet addr:172.32.0.93Bcast:172.32.255.255Mask:255.255.0.0
    UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
    RX packets:3114 errors:0 dropped:1395 overruns:0 frame:0
    TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
    collisions:0 txqueuelen:1000
    RX bytes:364838 (356.2 KiB)TX bytes:0 (0.0 B)
```

可知设备静态 IP 为 `172.32.0.93`

## SDK 环境部署

Windows操作系统需要安装 Ubuntu 应用，可在 Microsoft 应用商店搜索安装。

运行 Ubuntu 系统，升级

```bash
sudo apt update
```

安装开发环境

```bash
sudo apt-get install -y git ssh make gcc gcc-multilib g++-multilib module-assistant expect g++ gawk texinfo libssl-dev bison flex fakeroot cmake unzip gperf autoconf device-tree-compiler libncurses5-dev pkg-config bc python-is-python3 passwd openssl openssh-server openssh-client vim file cpio rsync
```

获取最新 [SDK](https://gitee.com/LuckfoxTECH/luckfox-pico)

```c++
git clone https://gitee.com/LuckfoxTECH/luckfox-pico.git
```

安装交叉编译工具链

```bash
cd luckfox-pico/tools/linux/toolchain/arm-rockchip830-linux-uclibcgnueabihf/
source env_install_toolchain.sh
```

全部编译镜像文件

```bash
cd luckfox-pico
# 这里使用busybox/buildroot
./build.sh lunch
./build.sh
```

> 需要注意，这里使用 Windows 11 安装桌面 Ubuntu 会报错，提示路径包含空格等，因此采用虚拟机安装Linux系统。
>
> 虚拟机下载：[VMware Workstation Pro v17.6.2](https://www.ghxi.com/vmware17.html)

- 设备选择： `[6] RV1106_Luckfox_Pico_Max` 
- 启动媒介选择： `[1] SPI_NAND` 
- 系统版本选择： `[0] Buildroot(Support Rockchip official features)`

编译成功

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_877740_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>build_success.jpg</strong> <em class="xg1">(203.22 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877740" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877740&handlekey=savephoto_877740">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

> 第一次编译镜像需要较长时间（约两小时），主要是自动下载和安装缺少的软件。

## 编译工程

克隆代码并检查文件列表

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_877739_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>load_clone.jpg</strong> <em class="xg1">(34.11 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877739" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877739&handlekey=savephoto_877739">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

编译代码，生成目标文件，`luckfox_rtsp_mnist_dir`

> 也可直接移植克隆下来的文件夹

## 移植工程

将其移植到开发板，

```bash
adb -s bd547ee6900c058b push D:\RV1106\luckfox_rtsp_mnist\luckfox_rtsp_mnist_dir /work
```

adb 推送文件语法：`adb -s <设备号> push <本地文件路径> <目标设备路径>`

移植完成提示如下

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877738" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877738&handlekey=savephoto_877738">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 运行

adb 连接开发板，

下载并安装 VCL 软件，

媒体 - 打开网络串流 - 网络 - 输入URL

`rtsp://172.32.0.93/live/0`

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877737" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877737&handlekey=savephoto_877737">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

点击 `播放` 即可。

rtsp 推流效果

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_877736_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>rtsp_default.gif</strong> <em class="xg1">(2.65 MB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877736" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877736&handlekey=savephoto_877736">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

停止默认的 rtsp 推流

```bash
adb devices
adb shell
cd oem/usr/bin
RkLunch-stop.sh
```

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877735" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877735&handlekey=savephoto_877735">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

修改执行文件的权限，运行推流指令

```bash
cd /
cd work
chmod 777 luckfox_rtsp_mnist
./luckfox_rtsp_mnist ./model/model.rknn
```

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877734" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877734&handlekey=savephoto_877734">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 效果测试

### 1. 手机显示屏

为了使对比度更加显著，使用手机显示屏或电脑显示器书写数字（手写数字识别[网站](https://henryjin.dev/demo/mnist/) ）

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877733" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877733&handlekey=savephoto_877733">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877732" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877732&handlekey=savephoto_877732">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877731" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877731&handlekey=savephoto_877731">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

识别效果一般，尝试在 A4 纸使用马克笔手写数字

### 2. A4纸

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877730" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877730&handlekey=savephoto_877730">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877729" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877729&handlekey=savephoto_877729">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

识别效果显著提升，识别准确率在 60% 左右，波动较大。与显示器识别的情况进行对比可知，画质（分辨率）和对比度（与环境亮度有关）是改善识别效果的关键因素。

### 3. 液晶显示器

使用 PowerPoint 荧光笔手写数字

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877728" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877728&handlekey=savephoto_877728">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877727" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877727&handlekey=savephoto_877727">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_877726" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=877726&handlekey=savephoto_877726">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

显示效果更为稳定，识别率稳定在 0.6 附近。因此，提高对比度有助于提高识别的稳定性。

## 总结

本文介绍了手写数字识别的模型部署流程，通过 Ubuntu 系统部署 Luckfox SDK 框架，编译已训练好的 RKNN 模型，得到最终的可在开发板执行的命令文件。之后将文件上传至开发板，并 rtsp 推流显示。

分别使用显示器和 A4 纸手写数字来验证模型的识别效果，准确率在 60% 上下，还有继续提升的空间。

Jacktang

识别效果显著提升，识别准确率在 60% 左右，波动确实比较大，什么原因

lijinlei

Jacktang 发表于 2025-1-6 07:28 识别效果显著提升，识别准确率在 60% 左右，波动确实比较大，什么原因

识别波动大，还是和环境对比度有关。一旦摄像头的采集图像存在较为复杂的环境或多种物体干扰，被框选的部分大多数情况下是物体，而不是数字……简言之就是还不够智能

比如，摄像头采集周围环境，识别数字往往仅通过对比度降帧匹配给出结果，如下图所示

还发现识别率和拍摄角度有关，如果数字是倾斜或者倒立的情况，识别效果大幅降低，这种情况可以通过添加训练模型、多次迭代、增加样本数量等方法得以改善。

#AI挑战营（进阶）# 模型部署 [复制链接]

最新回复