[AI挑战营]基于Luckfox pico pro 的 Insightface 实现多人场景下人脸检测

qsxc

[AI挑战营]基于Luckfox pico pro 的 Insightface 实现多人场景下人脸检测 [复制链接]

<i class="pstatus"> 本帖最后由 qsxc 于 2025-1-12 22:29 编辑 </i>

# 基于Luckfox pico pro 的 Insightface 实现多人场景下人脸检测

## 一、Insightface介绍

[Insight](https://github.com/deepinsight/insightface) 是一个开源的2D和3D深度人脸分析库，支持人脸检测、识别和对齐等功能。  
在[开源示例](https://github.com/deepinsight/insightface/blob/master/examples/demo_analysis.py)中，通过Python实现了这些功能，主要流程是先进行人脸检测，然后对检测到的人脸进行识别。  
Insightface 还提供了相应的[模型](https://github.com/deepinsight/insightface/tree/master/model_zoo)。

| Name           | Detection Model | Recognition Model   | Alignment    | Attributes | Model-Size |
| -------------- | --------------- | ------------------- | ------------ | ---------- | ---------- |
| antelopev2 | RetinaFace-10GF      | ResNet100@Glint360K | 2d106 & 3d68 | Gender&Age | 407MB |
| buffalo_l      | RetinaFace-10GF      | ResNet50@WebFace600K | 2d106 & 3d68 | Gender&Age | 326MB |
| buffalo_m      | RetinaFace-2.5GF     | ResNet50@WebFace600K | 2d106 & 3d68 | Gender&Age | 313MB |
| buffalo_s      | RetinaFace-500MF     | MBF@WebFace600K | 2d106 & 3d68 | Gender&Age | 159MB |
| buffalo_sc      | RetinaFace-500MF     | MBF@WebFace600K | - | - | 16MB |

可以看到，Insightface 在多人场景下的人脸检测和追踪中，首先调用 RetinaFace 进行检测，然后调用识别模型。针对不同内存的设备，Insightface 提供了不同大小的模型。  
此外，Insightface 提供了跨平台的 [InspireFace](https://github.com/HyperInspire/InspireFace) C++ SDK，可以用于人脸识别应用的部署。目前该 SDK 已经支持 RV1106。

## 二、RKNN介绍

[RKNN-Toolkit2](https://github.com/airockchip/rknn-toolkit2) 工具在 PC 平台上提供 C 或 Python 接口，简化模型的部署和运行。用户可以通过该工具轻松完成以下功能：模型转换、量化、推理、性能和内存评估、量化精度分析以及模型加密。RKNN 软件栈可以帮助用户快速的将 AI 模型部署到 Rockchip 芯片。

## 三、思路

参考 InspireFace 中的示例以及 Luckfox 的 [rkmpi](https://github.com/LuckfoxTECH/luckfox_pico_rkmpi_example) 示例，在示例中Luckfox提供了rkmpi的历程以及InspireFace提供了运行人脸检测识别的历程，通过这些可以编写代码实现多人场景下的人脸检测、精度评分、准确度评估，并应用于智能多人监控系统。

## 四、实际步骤

### 1、板卡

首先，感谢 EEWorld 以及 Luckfox 提供本次活动所需的板卡。  
拿到板卡后，首先根据 Luckfox 的[文档](https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-quick-start/)安装摄像头并刷入 buildroot 镜像。  
刷好镜像后，将板卡连接电脑 USB，通过 SSH 客户端使用 172.32.0.93:22 连接开发板。系统镜像默认存在 RTSP 程序，可以通过 rtsp://172.32.0.93/live/0 测试 RTSP 效果。  
此外，可以参考 [rkmpi](https://github.com/LuckfoxTECH/luckfox_pico_rkmpi_example) 示例文档，测试 RKMPI 效果。

### 2、编译

首先，感谢大佬开源的[测试代码](https://github.com/junanxia/rkface_insightface)，在此代码中结合Insightface与Luckfox-SDK实现了人脸检测和识别的测试程序，通过这份代码即可实现Inspireface的多人场景检测。  
将代码下载到本地后，使用 VSCode 打开。

<ignore_js_op>

</ignore_js_op>

将红色框部分修改为自己的[交叉编译链](https://wiki.luckfox.com/zh/Luckfox-Pico/Cross-Compile/)地址。

<ignore_js_op>

</ignore_js_op>

点击生成进行编译。  
为了实现实际应用，可以对代码进行修改，例如作为一个智能监控系统，将实时追踪的数据保存到本地。可以加入以下代码：

```cpp
std::ofstream file("detect.csv", std::ios::app);
if (file.is_open())
{
    file << multipleFaceData.rects<i>.x << ","
         << multipleFaceData.rects<i>.y << ","
         << multipleFaceData.rects<i>.width << ","
         << multipleFaceData.rects<i>.height << ","
         << i << ","
         << multipleFaceData.detConfidence<i> << ",";
}
else
{
    printf("Unable to open file detect.csv\n");
}
```

这样就可以生成一个包含检测结果的文件。

### 3、部署

首先，将编译完成后的文件上传到板卡，如图所示

<ignore_js_op>

</ignore_js_op>

<ignore_js_op>

</ignore_js_op>

<ignore_js_op>

</ignore_js_op>

此外，还需要将InspireFace编译得到的库文件放到lib目录

<ignore_js_op>

</ignore_js_op>

之后可以通过以下指令运行

```shell
cd
cd inspireface/
chmod a+x ./rkface_insight
./rkface_insight
```

## 五、结果
 
<div id="player_37fd707047ecdd4aeab1b439f2c465010" class="localvideo-box"></div><div class="localvideo-title">[eeworld]AI技术挑战营视频</div><br/>

运行结果如视频所示。视频左侧显示的是 SSH 输出，右侧显示的是实时检测画面。模型加载完成后，通过平板播放视频，可以看到每次检测的结果在串流中标出。由于选择的人脸并非视频中的人脸，SSH 输出结果均显示为“not found similar”。  
再将人脸图片切换为视频中的人脸后可以得到

<ignore_js_op>

</ignore_js_op>
  
可以看到人脸序号0的置信度conf为0.69  
由于RKMPI的调用有问题，因此需要对代码进一步调整