【 AI挑战营（进阶）】1.思路梳理

iexplore123

【 AI挑战营（进阶）】1.思路梳理 [复制链接]

## 【Ai挑战营（进阶）】在RV1106部署InsightFace算法的多人实时人脸识别实战 思路梳理

### 1.1 项目目标

本项目是在RV1106上部署InsightFace算法的多人实时人脸识别实战，主要目标如下：

1. 获取并验证人脸检测模型与人脸识别模型；
2. 转换模型格式，使其能够在RV1106上运行；
3. 在RV1106上部署InsightFace算法的多人实时人脸识别。
4. 根据识别结果向特定目标打招呼。（应用）

### 1.2 项目流程

#### 1.2.1 验证人脸模型

根据`Danbinabo`的教程，人脸检测算法使用`MTCNN`，人脸识别算法使用`InsightFace`，检测出人脸后进行对齐操作，然后送入人脸识别模型进行识别。

运行环境：`Python3.6`，`Tensorflow1_gpu==1.13.1`，`mxnet-cu100`，`opencv_python==4.1.0`。

GPU推理相关：`CUDA10.0`，`cudnn7.6`

#### 1.2.2 转换模型格式

InsightFace模型转换为`onnx`格式，再转换为`rknn`格式。

1. `InsightFace`模型转换为`onnx`格式：

```python
  import mxnet as mx
  from mxnet.contrib import onnx as onnx_mxnet
  sym, arg_params, aux_params = mx.model.load_checkpoint('/path/to/model', 0)
  mod = mx.mod.Module(symbol=sym, context=mx.cpu(), label_names=None)
  mod.bind(for_training=False, data_shapes=[('data', (1, 3, 112, 112))], label_shapes=mod._label_shapes)
  mod.set_params(arg_params, aux_params, allow_missing=True)
  onnx_file = '/path/to/model.onnx'
  onnx_mxnet.export_model(sym, arg_params, aux_params, [(1,3,112,112)], np.float32, onnx_file)
  ```
> 注意：不同框架的模型转换方式不同，以上代码仅供参考，还有很多坑在后面。

2. `onnx`模型转换为`rknn`格式：

```shell
  python3 -m rknn.api.rknn_convert -t rk1106 -i /path/to/model_config.yml -o /path/to/model.rknn
  ```
> 具体参考`rknn-toolkit2`的使用说明，[rknn-toolkit2使用示例](https://github.com/airockchip/rknn-toolkit2/tree/master/rknn-toolkit2/examples)

#### 1.2.3 部署InsightFace算法

Rknn模型支持两种方式部署：

1. `C`语言API；
2. `Python`语言API。（对Rv1106的支持度存疑，未找到对其明确说明的文档）

`Rknn_model_zoo`是基于`RKNPU SDK`工具链开发的，提供了当前主流算法的部署示例。包括导出`RKNN`模型的过程，以及使用`Python API`和`CAPI`推理`RKNN`模型的例程，我们可以参考`Rknn_model_zoo`中的例程进行部署。

### 学习资料：

1. [幸狐官方教程](https://wiki.luckfox.com/zh/Luckfox-Pico/)
2. [Luckfox官方SDK](https://github.com/LuckfoxTECH/luckfox-pico)
3. [InsightFace_model_zoo](https://github.com/deepinsight/insightface/tree/master/model_zoo)
4. [Rknn-toolkit2](https://github.com/airockchip/rknn-toolkit2)
5. [Rknn板端推理例程](https://github.com/LuckfoxTECH/luckfox_pico_rknn_example)
6. [Onnx官方模型转换教程](https://github.com/onnx/tutorials/)
7. [InsighrFace人脸识别复现教程](https://github.com/Danbinabo/insighrface)

lugl4313820

大佬可以分享一些如何训练模型的知识。

iexplore123

lugl4313820 发表于 2025-1-3 15:42 大佬可以分享一些如何训练模型的知识。

训练insightface需要的数据集处理流程比较复杂，

链接已隐藏，如需查看请登录或者注册

的教学项目根目录下readme.txt有基于mxnet框架的训练准备流程的说明，训练脚本是train_softmax.py，以后有空可以读代码

chuanyun

期待完整分享

iexplore123

chuanyun 发表于 2025-1-3 21:10 期待完整分享

后面模型转换的坑实在太大了，不是我这种初学者一时半会把握得住的

我准备把遇到的一堆问题写写然后直接投奔现有的人脸识别sdk了

【 AI挑战营（进阶）】1.思路梳理 [复制链接]

最新回复

点评

点评