#AI挑战营第二站# ONNX模型转换成RKNN模型的详细过程

luyism

#AI挑战营第二站# ONNX模型转换成RKNN模型的详细过程 [复制链接]

# #AI挑战营第二站# ONNX模型转换成RKNN模型的详细过程

## 背景介绍

在AI挑战营的第一阶段，我们成功地在PC上训练了一个手写数字识别模型，并将其保存为ONNX格式。Rockchip的RV1106开发板搭载了NPU（神经网络处理单元），可以高效地运行深度学习模型。为了在RV1106上部署模型，我们需要将训练好的ONNX模型转换为Rockchip专用的RKNN模型。现在，我们的任务是将这个ONNX模型转换为RKNN格式，以便在RV1106开发板上进行部署和推理。

## 技术细节与名词解释

在进行模型转换之前，我们需要了解一些关键的技术细节和名词：

- **ONNX**（Open Neural Network Exchange）是一个开放的生态系统，它允许AI开发者在不同的框架和工具之间轻松地移动模型。ONNX定义了一个用于机器学习模型的开放格式，使得模型可以在不同的深度学习框架之间进行转换和使用。

- **RKNN**（Rockchip Neural Network）是瑞芯微电子公司为其NPU（神经网络处理单元）设计的一套工具和库。它支持将多种深度学习框架训练的模型转换为RKNN格式，进而在Rockchip NPU上进行高效的推理。

- **量化**：量化是一种减少模型大小和加速推理的技术，它将模型中的浮点数转换为整数。

- **NPU**：神经网络处理单元，专门设计用于高效执行深度学习模型推理的硬件加速器。

## 环境部署

在开始转换之前，我们需要准备好开发环境。这通常包括安装RKNN Toolkit，这是一个用于模型转换和推理的软件包。

### rknn-toolkit系统依赖说明

根据官方的说明可知，rknn-toolkit套件支持运行于 Ubuntu、Windows、MacOS、Debian 等操作系统。需要满足以下运行 环境要求：

#### 操作系统版本
Ubuntu16.04（x64）及以上 
Windows 7（x64）及以上 
Mac OS X 10.13.5（x64）及以上 
Debian 9.8（x64）及以上

#### Python 版本
3.5/3.6
注：Windows 及 MacOS 只提供 Python3.6 的安装包。

#### Python 库依赖
```c
'numpy == 1.16.3'
'scipy == 1.3.0'
'Pillow == 5.3.0' 
'h5py == 2.8.0' 
'lmdb == 0.93'
'networkx == 1.11' 
'flatbuffers == 1.10'
'protobuf == 3.6.1'
'onnx == 1.4.1' 
'onnx-tf == 1.2.1' 
'flask == 1.0.2' 
'tensorflow == 1.11.0' or 'tensorflow-gpu' 
'dill == 0.2.8.2' 
'ruamel.yaml == 0.15.81' 
'psutils == 5.6.2' 
'ply == 3.11' 
'requests == 3.11' 
'pytorch == 1.2.0' 
'mxnet == 1.5.0'
```

### 新建虚拟环境并配置pycharm

由于rknn-toolkit在Windows平台下运行环境仅支持python3.6，而我之前训练模型所使用的python版本为3.7，所以在进行模型转换时我们需要先新建一个python3.6的虚拟环境，这里所使用的为anaconda navigator 新建一个名为py3_6rknn的虚拟环境。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805563_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image1.png</strong> <em class="xg1">(117.85 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805563" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805563&handlekey=savephoto_805563">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805564_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image2.png</strong> <em class="xg1">(44.33 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805564" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805564&handlekey=savephoto_805564">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

待创建虚拟环境完成后，我们进入pycharm的设置界面，可以看到原来的python解释器版本为3.7，点击右侧 Add interpreter，选择local interpreter。在其中选择conda本地环境，选择我们刚刚建立的py3_6rknn虚拟环境，确认后工程的解释器即变成了python3.6.

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805565_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image3.png</strong> <em class="xg1">(104.24 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805565" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805565&handlekey=savephoto_805565">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805566_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image4.png</strong> <em class="xg1">(12.14 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805566" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805566&handlekey=savephoto_805566">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805567_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image5.png</strong> <em class="xg1">(27.45 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805567" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805567&handlekey=savephoto_805567">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805568_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image6.png</strong> <em class="xg1">(80.27 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805568" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805568&handlekey=savephoto_805568">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 获取rknn_toolkit whl文件

rknn_toolkit的Github页面如下所示，点击右下角Releases即可进入资源获取页面。
[GitHub - rockchip-linux/rknn-toolkit](https://github.com/rockchip-linux/rknn-toolkit)

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805569_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image7.png</strong> <em class="xg1">(84.47 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805569" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805569&handlekey=savephoto_805569">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

点击下载后缀名为zip的文件。
[Releases · rockchip-linux/rknn-toolkit (github.com)](https://github.com/rockchip-linux/rknn-toolkit/releases)

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805570_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image8.png</strong> <em class="xg1">(21.55 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805570" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805570&handlekey=savephoto_805570">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

打开压缩包后可以看到适用于不同平台的whl文件，由于我所使用的是Window10，所以选择解压rknn_toolkit-1.7.5-cp36-cp36m-win_amd64.whl文件。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805571_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image9.png</strong> <em class="xg1">(31.5 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805571" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805571&handlekey=savephoto_805571">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

手动安装RKNN-Toolkit，该 wheel 包放在G盘下，在安装时若当前目录不是whl文件的放置目录，在安装的时候就需要在whl文件前加上绝对路径，一些依赖库在安装rknn_toolkit会自动安装。

```
1、以管理员模式打开命令提示符

2、激活创建的conda虚拟环境
activate py3_6rknn
 # 激活后，会发现terminal输入的地方多了py3_6rknn的字样，实际上，此时系统做的事情就是把默认环境从PATH中去除，再把py3_6rknn对应的命令加入PATH

3、测试当前环境是否已经切换为python3.6
python --version
# 会输出当前使用的python版本，如Python 3.6.13 :: Anaconda, Inc.

4、安装RKNN-Toolkit
pip install G:\rknn_toolkit-1.7.5-cp36-cp36m-win_amd64.whl
```

安装完成后会输出一大段它自动安装的库，可以在里面找到我们需要安装的rknn_toolkit1.7.5.

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_805572_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image10.png</strong> <em class="xg1">(20.11 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_805572" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=805572&handlekey=savephoto_805572">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

其中还有几个库需要手动安装一下

```
pip install opencv-python==4.3.0.38
pip install torch==1.10.1
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchvision
```

## 转换过程步骤

接下来，我们将详细介绍如何将ONNX模型转换为RKNN模型的步骤。

```
from rknn.api import RKNN

# 创建RKNN对象
rknn = RKNN()

# 加载ONNX模型
# 这里我们加载之前在PC上训练好的ONNX模型
print('Loading ONNX model...')
rknn.load_onnx(model='mnist_model.onnx')

# 模型配置 图片归一化
rknn.config(mean_values=[[128]], std_values=[[128]])

# 构建RKNN模型
# do_quantization参数设置为False，表示不进行量化
# 如果需要进行量化以优化模型，可以设置为True，并提供相应的数据集文件
print('Building RKNN model...')
rknn.build(do_quantization=False)

# 导出RKNN模型
# 将构建好的模型导出为RKNN格式，保存到文件系统中
print('Exporting RKNN model...')
rknn.export_rknn('mnist_model.rknn')

# 释放资源
# 在完成模型转换工作后，释放RKNN对象占用的资源
rknn.release()

```

- `rknn = RKNN()`：这行代码初始化了一个RKNN对象，它是后续所有操作的基础。
- `rknn.load_onnx(model='mnist_model.onnx')`：此方法用于加载ONNX格式的模型文件。这里的`mnist_model.onnx`是我们在第一阶段训练得到的模型文件。
- `rknn.build(do_quantization=False)`：这个方法构建RKNN模型。`do_quantization`参数用于指定是否进行模型量化，量化可以减小模型大小并提高运行效率，但在这个例子中我们选择不进行量化。
- `rknn.export_rknn('./mnist_model.rknn')`：该方法将构建好的RKNN模型导出到指定的文件中。`mnist_model.rknn`是导出的模型文件，将用于在RV1106开发板上进行部署。
- `rknn.release()`：在完成所有操作后，调用`release`方法来释放RKNN对象占用的资源。

在使用RKNN Toolkit进行模型转换时，需要注意以下几点：
- RKNN模型需要指定输入数据的均值和标准差，以便正确进行预处理。
- 在构建RKNN模型时，可以选择是否进行量化操作（quantization），以减小模型的体积和提高推理速度。

## 结论

通过以上步骤，我们可以将训练好的ONNX模型转换为适用于Rockchip RV1106开发板的RKNN模型。这样一来，我们就可以在RV1106上高效地运行深度学习模型，实现智能功能，如手写数字识别等。

最后附上所转换的模型文件：

<ignore_js_op>

<a href="javascript:;" class="loginf">mnist_model.onnx</a>

<em class="xg1">(245.84 KB, 下载次数: 1)</em>
</span>
<div class="tip tip_4" id="attach_805575_menu" style="position: absolute; display: none" disautofocus="true">
<div class="tip_c xs0">
<div class="y">2024-4-29 19:05 上传</div>
点击文件名下载附件

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" class="loginf">mnist_model.rknn</a>

<em class="xg1">(122.74 KB, 下载次数: 1)</em>
</span>
<div class="tip tip_4" id="attach_805574_menu" style="position: absolute; display: none" disautofocus="true">
<div class="tip_c xs0">
<div class="y">2024-4-29 19:05 上传</div>
点击文件名下载附件

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>