#AI挑战营（进阶）# 开发板硬件测试、开发环境部署

lijinlei

#AI挑战营（进阶）# 开发板硬件测试、开发环境部署 [复制链接]

# #AI挑战营（进阶）# 开发板硬件测试、开发环境部署

介绍了本项目的硬件和软件平台部分，包括 LuckFox Pico Max-RV1106 开发板、PyTorch 平台、MNIST 数据集, 以及 InsightFace，为后续数字识别和人脸识别的开发作铺垫。

## LuckFox Pico Max-RV1106 开发板

RV1106 是一款专门用于**人工智能**相关应用的高度集成 **IPC 视觉处理器 SoC**。

它基于**单核 ARM Cortex-A7 32 位内核**，集成了 NEON 和 FPU，并内置 NPU 支持 INT4 / INT8 / INT16 混合运算，RV1106G2 计算能力高达 0.5TOPS，RV1106G3计算能力高达 1TOPS。

此外，它采用了全新的基于硬件的 ISP，支持多种算法加速器，如 HDR、3A、LSC、3DNR、2DNR、锐化、去雾、伽马校正等。同时，它还具有内置的16位DRAM DDR3L，可维持要求苛刻的内存带宽，以及内置的 POR，RTC，音频编解码器和 MAC PHY。

开发板支持多个接口，包括 GPIO、UART、SPI、I2C、USB 等，方便开发者进行快速开发和调试。值得注意的是，Luckfox Pico 全系列开发板支持 **buildroot** 和 **Ubuntu22.04** 系统，让开发者根据项目需求选择合适的系统，更灵活满足特定应用要求。

详见：[LUCKFOX WIKI](https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-quick-start/) .

### 开箱

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868342_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>Packing.jpg</strong> <em class="xg1">(90.27 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868342" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868342&handlekey=savephoto_868342">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868339" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868339&handlekey=savephoto_868339">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868343" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868343&handlekey=savephoto_868343">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868341_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>Bottom.jpg</strong> <em class="xg1">(110.46 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868341" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868341&handlekey=savephoto_868341">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### RV1106 开发板简介

**Luckfox Pico Pro/Max** 是一款基于**瑞芯微 RV1106** 芯片具有高性价比的微型 **Linux** 开发板，旨在为开发者提供一个简单且高效的开发平台；

支持多种接口，包括 MIPI CSI、GPIO、UART、SPI、I2C、USB 等，便于快速开发和调试

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868344" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868344&handlekey=savephoto_868344">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

#### 主要参数

| 项目                 | 参数                                                         |
| -------------------- | ------------------------------------------------------------ |
| 处理器               | Cortex A7@1.2GHz                                             |
| 神经网络处理器 (NPU) | Pro 版本: 0.5TOPS，支持 int4、int8、int16 Max 版本: 1TOPS，支持 int4、int8、int16 |
| 图像处理器 (ISP)     | 输入 5M @30fps                                               |
| 内存                 | Pro 版本: 128MB DDR3L Max 版本: 256MB DDR3L                  |
| USB                  | USB 2.0 Host/Device                                          |
| 摄像头接口           | MIPI CSI 2-lane                                              |
| GPIO                 | 26 个 GPIO 引脚                                              |
| 网口                 | 10/100M Ethernet controller and embedded PHY                 |
| 默认存储介质         | SPI NAND FLASH (256MB)                                       |

##### 高度集成 强劲性能

集成 CPU、NPU、ISP 等处理器

- 单核 ARM Cortex-A7 32 位内核，集成了 NEON 和 FPU
- 内置瑞芯微自研第 4 代 NPU，运算精度高，支持 int4、int8、int16 混合量化，其中 RV1106G2 int8 算力为 0.5TOPS，RV1106G3 int8 算力为 1TOPS
- 内置自研第 3 代 ISP3.2，支持 500 万像素，支持 HDR、WDR、多级降噪等多种图像增强和矫正算法
- 具有强大的编码性能，支持智能编码，根据场景自适应节省码流，比常规 CBR 模式码率节省 50% 以上，让拍摄画面既高清，体积更小，存储空间提升一倍
- 内置的 16 位 DRAM DDR3L，可维持要求苛刻的内存带宽
- 集成了内置的 POR，音频编解码器和 MAC PHY

##### 开发更简单

集成 Micro SD 卡座、摄像头接口与网口

##### SLC NAND FLASH

为你提供更好使用体验

#### 资源简介

1. USB Type-C 接口：可用于供电与程序烧录
2. ACT-LED
3. BOOT 按键：上电时按下，进入下载模式
4. RESET 按键
5. Micro SD 卡座
6. RV1106：视觉处理器 SoC，内置 ARM Cortex-A7 内核 (注：Pro 版为 RV1106G2，Max 版为 RV1106G3)
7. RTC 电池接口：MX1.25 连接器，可用于接入 RTC 电池
8. CSI 摄像头接口：MIPI CSI 2-lane
9. RJ45 网口
10. USB 测试点：TP1：USB_N；TP2：USB_P
11. USB 检测测试点
12. W25N02KV：256MB SLC NAND FLASH
13. GPIO 接口

官方资料：https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-RV1106/Luckfox-Pico-Pro-Max/Luckfox-Pico-quick-start/

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868340" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868340&handlekey=savephoto_868340">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### SPI NAND FLASH 镜像烧录

1.[下载](https://files.luckfox.com/wiki/Luckfox-Pico/Software/SocToolKit_v1.98_20240705_01_win.zip) 瑞芯微烧录工具，打开可执行文件，运行程序；

2.开发板选择 RV1106 ；

3.烧录固件步骤
(1) 选择 USB 设备，按住 BOOT 键连接电脑，松开 BOOT 键，软件会显示 MaskRom 设备；

> 若提示无法识别设备，则更换数据线，重新按住 BOOT 键的同时，将USB端插入电脑接口即可正常识别。

(2) 加载固件的存放文件夹，重载 env 文件，并勾选所有项。

(3) 勾选 `重启设备` 选项，点击 `下载` 即可。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868345" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868345&handlekey=savephoto_868345">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

烧录完成后，开发板上的指示灯开始闪烁。

### 串口调试

通过串口工具连接开发板并和其进行交互，为了确保通信效果，需要连接网线。

#### 硬件连接

开发板连接网线、TypeC数据线（保证供电）、USB转TTL线

其中 USB 转 TTL 可根据开发板引脚定义连接，

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868346" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868346&handlekey=savephoto_868346">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

注意 RX 与 TX 交叉连接，确保数据线供电充足、网线连接无误。

[下载](https://files.luckfox.com/wiki/Core3566/MobaXterm_Portable_v22.0.zip) MobaXterm 远程登录软件，

解压并打开该软件，选择 Session - Serial，设置串口的波特率波特率为115200

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868347_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>uart_setting.png</strong> <em class="xg1">(24.46 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868347" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868347&handlekey=savephoto_868347">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

进入命令主界面，此时按下开发板的 Reset 键重启，串口输出相应的启动信息，如下

```c
# [    4.722869] rk_gmac-dwmac ffa80000.ethernet eth0: Link is Up - 100Mbps/Full - flow control rx/tx
udhcpc: sending discover
udhcpc: sending select for 172.27.35.5
udhcpc: lease of 172.27.35.5 obtained, lease time 36000
deleting routers
adding dns 172.27.35.1
adding dns 202.120.80.2

# uname -a
Linux Rockchip 5.10.110 #1 Wed Sep 27 18:02:28 CST 2023 armv7l GNU/Linux
# df -h
Filesystem                Size      Used Available Use% Mounted on
ubi0:rootfs              21.9M      5.4M     16.5M  25% /
devtmpfs                 90.9M         0     90.9M   0% /dev
tmpfs                    91.0M         0     91.0M   0% /dev/shm
tmpfs                    91.0M      4.0K     91.0M   0% /tmp
tmpfs                    91.0M    120.0K     90.9M   0% /run
/dev/ubi5_0              36.3M     17.1M     19.2M  47% /oem
/dev/ubi6_0             136.5M     24.0K    136.5M   0% /userdata
# ls
media          linuxrc        usr            opt            dev
lib64          root           var            oem            bin
lib32          sbin           sys            mnt
rockchip_test  proc           tmp            lib
userdata       data           run            etc
#
```

输入相应的指令进行测试，获取内存分配等信息。

分区信息通过 `df -Th` 查询，挂载点包含的信息如下

- `ubi0:rootfs` 是根文件系统（`/`），挂载在 UBIFS（UBI Flash 文件系统）上
- `devtmpfs` 和 `tmpfs` 是虚拟文件系统，分别用于设备节点和临时文件的存储，它们是在内存中创建的，并不会占用实际的闪存空间
- `/dev/ubi4_0` 是 `oem` 分区，主要存放`RK`相关驱动
- `/dev/ubi5_0` 是 `userdata` 分区，主要存放的是`rkipc`配置文件和`MAC`地址等信息

`ls` 命令用于显示指定工作目录下之内容（列出目前工作目录所含之文件及子目录 )。

`cd` 命令用于改变当前工作目录的命令。

`df` 命令用于显示目前在 Linux 系统上的文件系统磁盘使用情况统计。

`touch` 命令用于修改文件或者目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。

`mkdir` 命令用于创建目录。

`cp` 命令主要用于复制文件或目录。

`mv` 用来为文件或目录改名、或将文件或目录移入其它位置。

`rm` 命令用于删除一个文件或者目录。

`chmod` 命令是控制用户对文件的权限的命令。

### SSH 登录

将开发板通过网线连接至WiFi路由器，并且和Windows操作系统在同一个局域网，即电脑也需要和该路由器相连。

打开 MobaXterm 远程登录软件，选择 Session - SSH

在 Remote host 中输入开发板的静态 IP : 172.32.0.93

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868348_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>SSH_connect.png</strong> <em class="xg1">(32.13 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868348" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868348&handlekey=savephoto_868348">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 开发环境搭建和平台部署

基于 PyTorch 框架，采用 CNN 卷积神经网络实现 MNIST 手写数字识别，由于手边没有 NVDIA 显卡，仅考虑使用 CPU 训练的情况。

### PyTorch

#### 简介

Pytorch 是 torch 的 Python 版本，是由 Facebook 开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。

Torch 是一个经典的对多维矩阵数据进行操作的张量库，在机器学习和其他数学密集型应用有广泛应用。

与 Tensorflow 的静态计算图不同，PyTorch 的计算图是动态的，可以根据计算需要实时改变计算图。

#### 部署

**1**. 下载和安装 [Python 3.12.0](https://www.python.org/downloads/release/python-3120/)

> 注意这里的 Python 版本需要和模型支持的版本对应，最新版本的 Python 可能暂不支持。

在 CMD 命令行或 PowerShell 输入 `python` 验证是否安装成功。

**2**. 部署 [PyTorch](https://pytorch.org/) .

选择对应的配置，复制命令

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868349_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>PyTorch_Build.png</strong> <em class="xg1">(13.85 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868349" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868349&handlekey=savephoto_868349">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

```python
pip3 install torch torchvision torchaudio
```

在命令行终端或 PowerShell 中运行指令，即可完成部署。

**3**. 安装所需软件包

在命令行终端或 PowerShell 中运行如下指令

```python
pip3 install numpy
pip3 install matplotlib
pip3 install tqdm
pip3 install torchvision
```

安装和导入如下开发包

```python
import torch
import numpy as np
from matplotlib import pyplot as plt
from torch.utils.data import DataLoader
from torchvision import transforms
from torchvision import datasets
import torch.nn.functional as F
```

### MNIST

[MNIST](https://yann.lecun.com/exdb/mnist/)（modified national institute of standard and technology）数据集是由 Yann LeCun 等人 1994 年创建，包含 0~9 的手写数字数据库。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868350_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>MNIST_official.png</strong> <em class="xg1">(39.79 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868350" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868350&handlekey=savephoto_868350">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

MNIST 数据集的原始数据来源于美国国家标准和技术研究院（national institute of standard and technology, NIST）的两个数据集：special database 1 和 special database 3，分别由 NIST 的员工和美国高中生手写的 0-9数字组成。

原始数据集是 128*128 像素的黑白图像，LeCun 等人将其调整后得到 28×28 的灰度图像，于是就有了现在的 MNIST .

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868351_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>MNIST_num.png</strong> <em class="xg1">(23.54 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868351" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868351&handlekey=savephoto_868351">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

MNIST 包含如下四个数据集：

- 训练数据集：train-images-idx3-ubyte.gz （9.45 MB，包含 60,000 个样本）
- 训练数据集标签：train-labels-idx1-ubyte.gz（28.2 KB，包含 60,000 个标签）
- 测试数据集：t10k-images-idx3-ubyte.gz（1.57 MB ，包含 10,000 个样本）
- 测试数据集标签：t10k-labels-idx1-ubyte.gz（4.43 KB，包含 10,000 个样本的标签）

数据集可在官网下载，或附件下载。

### InsightFace

[InsightFace](https://insightface.ai/) 是先进的深度人脸分析数据库，包括用于高质量人脸识别的解决方案和自定义程序 SDK 开发，并提供先进工具推动各个行业的创造力和创新发展。

[**InsightFace**](https://insightface.ai/) 官网

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_868352_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>logo_insightface.jpg</strong> <em class="xg1">(465.49 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_868352" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=868352&handlekey=savephoto_868352">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

#### 人脸识别训练

人脸识别作为计算机视觉领域的一个重要应用，已广泛应用于安全监控、智能支付、人机交互等多个场景。InsightFace 是一个基于深度学习的人脸识别框架，它以其高效的性能和准确性在业界广受好评。使用 InsightFace进行人脸识别训练。

#### 硬件

建议使用NVIDIA系列GPU，因为InsightFace在GPU上的训练效率远高于CPU

#### 软件

操作系统：Linux

Python

库：MXNet (InsightFace的原生框架) 、NumPy、OpenCV 等

#### 数据

##### 数据库收集

收集包含多个人脸图像的数据集。数据集应包含不同人的多张照片，以便进行训练和验证

##### 数据处理

**人脸对齐**

使用 MTCNN 等工具对人脸进行对齐，确保每张人脸都处于相似的位置和大小。InsightFace 源码中包含 MTCNN 的实现，可以直接使用

**数据转换**

将处理后的数据转换为 InsightFace 所需的格式，包括 lst文件和 rec 文件。

#### 模型训练

修改配置文件

训练命令执行

#### 模型验证与测试

1.建立需要验证的目标集合，

2.使用InsightFace 脚本对目标集进行验证，

3.分析验证结果，对模型进行优化

#### 应用

门禁系统、监控识别等

摄像头实时捕捉人脸信息，通过模型进行识别和身份验证。

参考：[从零到一：使用InsightFace进行人脸识别训练](https://developer.baidu.com/article/detail.html?id=3342112) .

#### 人脸检测

人脸检测的方法比较多，项目提供两种人脸检测方法：

一种是基于MTCNN的通用人脸检测模型，

另一种是轻量化的、快速的RFB人脸检测模型；

这个两个模型都能实现人脸检测，并同时预测人脸的五个关键点(Landmark)。

| 模型  | Paper | 源码 | 说明                                                         |
| :---: | :---: | :--: | :----------------------------------------------------------- |
| MTCNN | Paper | Link | 支持人脸检测和人脸关键点检测(5个点)通用场景人脸检测，计算量较大，适合PC服务器部署 |
|  RFB  | Paper | Link | 支持人脸检测和人脸关键点检测(5个点)轻量级人脸检测，适合简单场景人脸检测，计算量较小，适合嵌入式，开发板，Android等终端部署 |

人脸关键点(Landmark)：共预测五个人脸关键点，分别为：左眼中心点，右眼中心点，鼻尖中心点以及左嘴角和右嘴角。

##### 人脸识别的实现思路

利用OpenCV的estimateAffine2D()函数估计人脸关键点(5个landmark)和参考人脸关键点(reference landmark)的仿射变换矩阵M，再根据仿射变换矩阵M矫正人脸图像

##### 人脸搜索(1:N)

1:N人脸搜索，将一张人脸和N张人脸进行比对，找出最相似的一张或多张人脸，即1:N人脸搜索。可用作人脸签到、人脸门禁、人员信息查询、安防监控等应用场景。