[AI挑战营]基于Luckfox pico pro 的 Insightface 实现多人场景下人脸检测

qsxc

[AI挑战营]基于Luckfox pico pro 的 Insightface 实现多人场景下人脸检测 [复制链接]

# 基于Luckfox pico pro 的 Insightface 实现多人场景下人脸检测

## 一、Insightface介绍

[Insight](https://github.com/deepinsight/insightface) 是一个开源的2D和3D深度人脸分析库，支持人脸检测、识别和对齐等功能。  
在[开源示例](https://github.com/deepinsight/insightface/blob/master/examples/demo_analysis.py)中，通过Python实现了这些功能，主要流程是先进行人脸检测，然后对检测到的人脸进行识别。  
Insightface 还提供了相应的[模型](https://github.com/deepinsight/insightface/tree/master/model_zoo)。

| Name           | Detection Model | Recognition Model   | Alignment    | Attributes | Model-Size |
| -------------- | --------------- | ------------------- | ------------ | ---------- | ---------- |
| antelopev2 | RetinaFace-10GF      | ResNet100@Glint360K | 2d106 & 3d68 | Gender&Age | 407MB |
| buffalo_l      | RetinaFace-10GF      | ResNet50@WebFace600K | 2d106 & 3d68 | Gender&Age | 326MB |
| buffalo_m      | RetinaFace-2.5GF     | ResNet50@WebFace600K | 2d106 & 3d68 | Gender&Age | 313MB |
| buffalo_s      | RetinaFace-500MF     | MBF@WebFace600K | 2d106 & 3d68 | Gender&Age | 159MB |
| buffalo_sc      | RetinaFace-500MF     | MBF@WebFace600K | - | - | 16MB |

可以看到，Insightface 在多人场景下的人脸检测和追踪中，首先调用 RetinaFace 进行检测，然后调用识别模型。针对不同内存的设备，Insightface 提供了不同大小的模型。  
此外，Insightface 提供了跨平台的 [InspireFace](https://github.com/HyperInspire/InspireFace) C++ SDK，可以用于人脸识别应用的部署。目前该 SDK 已经支持 RV1106。

## 二、RKNN介绍

[RKNN-Toolkit2](https://github.com/airockchip/rknn-toolkit2) 工具在 PC 平台上提供 C 或 Python 接口，简化模型的部署和运行。用户可以通过该工具轻松完成以下功能：模型转换、量化、推理、性能和内存评估、量化精度分析以及模型加密。RKNN 软件栈可以帮助用户快速的将 AI 模型部署到 Rockchip 芯片。

## 三、思路

参考 InspireFace 中的示例以及 Luckfox 的 [rkmpi](https://github.com/LuckfoxTECH/luckfox_pico_rkmpi_example) 示例，可以编写代码实现多人场景下的人脸检测、精度评分、准确度评估，并应用于智能多人监控系统。

## 四、实际步骤

### 1、板卡

首先，感谢 EEWorld 以及 Luckfox 提供本次活动所需的板卡。  
拿到板卡后，首先根据 Luckfox 的[文档](https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-quick-start/)安装摄像头并刷入 buildroot 镜像。  
刷好镜像后，将板卡连接电脑 USB，通过 SSH 客户端使用 172.32.0.93:22 连接开发板。系统镜像默认存在 RTSP 程序，可以通过 rtsp://172.32.0.93/live/0 测试 RTSP 效果。  
此外，可以参考 [rkmpi](https://github.com/LuckfoxTECH/luckfox_pico_rkmpi_example) 示例文档，测试 RKMPI 效果。

### 2、编译

首先，感谢大佬开源的[测试代码](https://github.com/junanxia/rkface_insightface)，通过这份代码即可实现Inspireface的多人场景检测。  
将代码下载到本地后，使用 VSCode 打开。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_879301" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=879301&handlekey=savephoto_879301">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

将红色框部分修改为自己的[交叉编译链](https://wiki.luckfox.com/zh/Luckfox-Pico/Cross-Compile/)地址。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_879302" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=879302&handlekey=savephoto_879302">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

点击生成进行编译。  
为了实现实际应用，可以对代码进行修改，例如作为一个智能监控系统，将实时追踪的数据保存到本地。可以加入以下代码：

```cpp
std::ofstream file("detect.csv", std::ios::app);
if (file.is_open())
{
    file << multipleFaceData.rects<i>.x << ","
         << multipleFaceData.rects<i>.y << ","
         << multipleFaceData.rects<i>.width << ","
         << multipleFaceData.rects<i>.height << ","
         << i << ","
         << multipleFaceData.detConfidence<i> << ",";
}
else
{
    printf("Unable to open file detect.csv\n");
}
```

这样就可以生成一个包含检测结果的文件。

### 3、部署

首先，将编译完成后的文件上传到板卡，如图所示

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_879297" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=879297&handlekey=savephoto_879297">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_879298" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=879298&handlekey=savephoto_879298">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_879300_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>model.png</strong> <em class="xg1">(8.2 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_879300" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=879300&handlekey=savephoto_879300">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

此外，还需要将InspireFace编译得到的库文件放到lib目录

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_879299" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=879299&handlekey=savephoto_879299">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

之后可以通过以下指令运行

```shell
cd
cd inspireface/
chmod a+x ./rkface_insight
./rkface_insight
```

## 五、结果
如视频所示  
<div id="player_37fd707047ecdd4aeab1b439f2c465010" class="localvideo-box"></div><div class="localvideo-title">[eeworld]AI技术挑战营视频</div><br/>