# #AI挑战营（进阶）# 人脸识别

lijinlei

# #AI挑战营（进阶）# 人脸识别 [复制链接]

# #AI挑战营（进阶）# 人脸识别

利用 RKMPI 库实现摄像头图像捕获、预处理、硬件编码，结合 opencv-mobile 进行图像处理，可以将 RKNN 推理结果标注在图像上后作为作为流媒体服务器进行 rtsp 推流，在局域网下的 PC 可以使用 VLC 软件拉取并观察图像。

## 简介

介绍 InsightFace 数据库实现人脸识别的流程。

### InsightFace

[InsightFace](https://insightface.ai/) 是一个开源的 2D&3D 深度人脸分析工具箱，主要基于 PyTorch 和 MXNet。

主分支可与 **PyTorch 1.6+** 和/或 **MXNet=1.6-1.8** 以及 **Python 3.x** 配合使用。

InsightFace 有效地实施了各种先进的人脸识别、人脸检测和人脸对齐算法，这些算法针对训练和部署进行了优化。

InsightFace 提供了用于深度人脸识别的训练数据、网络设置和损失设计。

支持的方法如下：

-[ArcFace_mxnet](https://github.com/deepinsight/insightface/blob/master/recognition/arcface_mxnet)
-[ArcFace_torch](https://github.com/deepinsight/insightface/blob/master/recognition/arcface_torch)
-[ArcFace](https://github.com/deepinsight/insightface/blob/master/recognition/subcenter_arcface)
-[PartialFC_mxnet](https://github.com/deepinsight/insightface/blob/master/recognition/partial_fc)
-[PartialFC_torch](https://github.com/deepinsight/insightface/blob/master/recognition/arcface_torch)
-[VPL](https://github.com/deepinsight/insightface/blob/master/recognition/vpl)
-[Arcface_oneflow](https://github.com/deepinsight/insightface/blob/master/recognition/arcface_oneflow)
-[ArcFace_Paddle](https://github.com/deepinsight/insightface/blob/master/recognition/arcface_paddle)

最常用的网络骨干网都包含在大多数方法中，例如 IResNet、MobilefaceNet、MobileNet、InceptionResNet_v2、DenseNet 等。

训练数据包括且不限于 MS1M、VGG2 和 CASIA-Webface 数据集。

##### ArcFace 实现

- PyTorch：[InsightFace_Pytorch](https://github.com/TreB1eN/InsightFace_Pytorch)
- PyTorch：[arcface-pytorch](https://github.com/ronghuaiyang/arcface-pytorch)

[RetinaFace](https://github.com/deepinsight/insightface/blob/master/detection/retinaface) 是一款实用的单级人脸检测器，已被 [CVPR 2020](https://openaccess.thecvf.com/content_CVPR_2020/html/Deng_RetinaFace_Single-Shot_Multi-Level_Face_Localisation_in_the_Wild_CVPR_2020_paper.html) 接受。我们提供训练代码、训练数据集、预训练模型和评估脚本。

根据 InsightFace 的 Python 库模型，可进行人脸检测和识别

#### Python 示例

```python
import cv2
import numpy as np
import insightface
from insightface.app import FaceAnalysis
from insightface.data import get_image as ins_get_image

app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))
img = ins_get_image('t1')
faces = app.get(img)
rimg = app.draw_on(img, faces)
cv2.imwrite("./t1_output.jpg", rimg)
```

该示例实现了从图像中检测人脸并在其上绘制检测结果。

最新的 insightface 库仅支持 onnx 模型。使用 PyTorch、MXNet 或任何其他框架训练检测或识别模型后，可将其转换为 onnx 格式，然后使用 insightface 库进行调用。

##### 模型检测

```python
import cv2
import numpy as np
import insightface
from insightface.app import FaceAnalysis
from insightface.data import get_image as ins_get_image

# Method-1, use FaceAnalysis
app = FaceAnalysis(allowed_modules=['detection']) # enable detection model only
app.prepare(ctx_id=0, det_size=(640, 640))

# Method-2, load model directly
detector = insightface.model_zoo.get_model('your_detection_model.onnx')
detector.prepare(ctx_id=0, input_size=(640, 640))
```

##### 模型识别

```python
import cv2
import numpy as np
import insightface
from insightface.app import FaceAnalysis
from insightface.data import get_image as ins_get_image

handler = insightface.model_zoo.get_model('your_recognition_model.onnx')
handler.prepare(ctx_id=0)
```

#### 人脸对齐

提供了用于人脸对齐的数据集和训练/推理管道。

支持的方法：

-[SDUNet ](https://github.com/deepinsight/insightface/blob/master/alignment/heatmap) 是一种基于 [BMVC](http://bmvc2018.org/contents/papers/0051.pdf) 接受的基于热图的方法。
-[SimpleRegression (简单回归)](https://github.com/deepinsight/insightface/blob/master/alignment/coordinate_reg)：提供了轻量级的面部特征点模型，具有快速的坐标回归功能。这些模型的输入是松散裁剪的人脸图像，而输出的是坐标。

### ArcFace

[ArcFace](https://insightface.ai/arcface)：用于深度人脸识别的加性角度边缘损失。

加性角边距损失 (ArcFace) 可获得用于人脸识别的高度判别性特征。 由于与超球体上的测地线距离精确对应，因此 ArcFace 具有清晰的几何解释。

通过对所有最近最先进的人脸识别方法最广泛的实验评估，10 张人脸识别基准测试，包括具有万亿级对的新大规模图像数据库和大规模视频数据集。结果表明，ArcFace 的性能优于其他技术，且能轻松实现。所有经过改进的训练数据、训练代码、预训练模型和训练日志均已发布，便于开发者重现结果。

官方已给出相应的部署方案

详见：[insightface/recognition/arcface_mxnet at master](https://github.com/deepinsight/insightface/tree/master/recognition/arcface_mxnet)

特征 x 和中心 W 上的并行加速。设置：ResNet 50，批量大小 8 x 64，特征尺寸 512，浮点数 32，GPU 8 x P40 （24GB）。

通过矩阵分区进行并行计算。设置：ResNet 50，批量大小 8 x 64，特征维度 512，浮点数 32，标识号 100 万，GPU 8 x 1080ti （11GB）。训练速度：800 个样本/秒。

#### 示例

使用 GPU 支持进行安装。`MXNet`

```
pip install mxnet-cu100 # mxnet-cu102
```

克隆 InsightFace 存储库。

```
git clone --recursive https://github.com/deepinsight/insightface.git
```

下载训练集并将其放置在 `$INSIGHTFACE_ROOT/recognition/datasets/` 中。每个训练数据集包括以下 6 个文件：`MS1MV2-Arcface`

```python
  faces_emore/
   train.idx
   train.rec
   property
   lfw.bin
   cfp_fp.bin
   agedb_30.bin
```

前三个文件是训练数据集，而后三个文件是验证集。

##### 训练深度人脸识别模型

进入 `$INSIGHTFACE_ROOT/recognition/ArcFace` 目录

放置和编辑配置文件

```
cp sample_config.py config.py
vim config.py # edit dataset path etc..
```

下面给出一些示例，实验基于 Tesla P40 GPU 硬件平台

（1）使用 LResNet100E-IR 训练 ArcFace

```
CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train.py --network r100 --loss arcface --dataset emore
```

每 2000 批输出 LFW、CFP-FP 和 AgeDB-30 的验证结果。您可以在 config.py 中检查所有选项。

（2）使用 LResNet50E-IR 训练 CosineFace

```
CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train.py --network r50 --loss cosface --dataset emore
```

（3）使用 MobileFaceNet 训练 Softmax

```
CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train.py --network y1 --loss softmax --dataset emore
```

（4）对上述具有 Triplet 损失的 Softmax 模型进行微调

```
CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train.py --network mnas05 --loss triplet --lr 0.005 --pretrained ./models/y1-softmax-emore,1
```

### RKNN-Toolkit2

运行 RKNN-Toolkit2 工具，将训练好的模型转换为 RKNN 格式的模型，然后在开发板上使用 RKNN C API 或 Python API 进行推理。

在 Linux 系统下部署 RKNN-Toolkit2 工具

```bash
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-4.6.14-Linux-x86_64.sh
```

为了适配相关软件包，需要安装较低版本的 Conda 和 Python v3.80，安装步骤可以参考之前的帖子。

安装 OpenCV 库

```bash
pip install rknn-toolkit2/packages/rknn_toolkit2-1.6.0+81f21f4d-cp38-cp38-linux_x86_64.whl
pip install opencv-python-headless
git clone https://github.com/airockchip/rknn_model_zoo.git
```

RKNN 模型转换，官网获取源码

```bash
git clone https://github.com/LuckfoxTECH/luckfox_pico_rknn_example.git
```

使用 convert.py 指令转换模型

```python
python convert.py <onnx地址> <训练集地址> <导出地址> <模型类型>
```

使用 Facenet 模型进行面部特征提取，并存储在特征向量

```python
// 为每张参考人脸分配特征向量
float* reference_out_fp32_one = (float*)malloc(sizeof(float) * 128); 
float* reference_out_fp32_two = (float*)malloc(sizeof(float) * 128); 
float* reference_out_fp32_thr = (float*)malloc(sizeof(float) * 128);

// 提取每张参考人脸的特征
letterbox(one, facenet_input);
ret = rknn_run(app_facenet_ctx.rknn_ctx, nullptr);
if (ret < 0) {
  printf("rknn_run fail! ret=%d\n", ret);
  return -1;
}
output = (uint8_t *)(app_facenet_ctx.output_mems[0]->virt_addr);
output_normalization(&app_facenet_ctx, output, reference_out_fp32_one);

letterbox(two, facenet_input);
ret = rknn_run(app_facenet_ctx.rknn_ctx, nullptr);
if (ret < 0) {
  printf("rknn_run fail! ret=%d\n", ret);
  return -1;
}
output = (uint8_t *)(app_facenet_ctx.output_mems[0]->virt_addr);
output_normalization(&app_facenet_ctx, output, reference_out_fp32_two);

letterbox(thr, facenet_input);
ret = rknn_run(app_facenet_ctx.rknn_ctx, nullptr);
if (ret < 0) {
  printf("rknn_run fail! ret=%d\n", ret);
  return -1;
}
output = (uint8_t *)(app_facenet_ctx.output_mems[0]->virt_addr);
output_normalization(&app_facenet_ctx, output, reference_out_fp32_thr);
```

对摄像头采集到的人脸进行特征提取，并与目标人脸特征进行对比。需 RetinaFace 模型从环境中识别出人脸

```python
def forward(self,inputs):
   
   # resnet中抽取特征
   out = self.body(inputs)

# FPN
   fpn = self.fpn(out)

# SSH
   feature1 = self.ssh1(fpn[0])
   feature2 = self.ssh2(fpn[1])
   feature3 = self.ssh3(fpn[2])
   features = [feature1, feature2, feature3]

bbox_regressions = torch.cat([self.BboxHead<i>(feature) for i, feature in enumerate(features)], dim=1)
   classifications = torch.cat([self.ClassHead<i>(feature) for i, feature in enumerate(features)],dim=1)
   ldm_regressions = torch.cat([self.LandmarkHead<i>(feature) for i, feature in enumerate(features)], dim=1)

if self.phase == 'train':
   output = (bbox_regressions, classifications, ldm_regressions)
   else:
   output = (bbox_regressions, F.softmax(classifications, dim=-1), ldm_regressions)
   return output
```

## 开发环境部署

确认 Luckfox-pico SDK 已正确安装，确认交叉编译链的环境变量设置正确.

安装过程在前面的帖子中已有介绍，详见：[#AI挑战营（进阶）# 模型部署 ](https://bbs.eeworld.com.cn/thread-1303704-1-1.html) .

主要步骤包括：

1.使用 Git 工具拉取最新 SDK

```bash
git clone https://gitee.com/LuckfoxTECH/luckfox-pico.git
```

2.安装交叉编译工具链

```bash
cd luckfox-pico/tools/linux/toolchain/arm-rockchip830-linux-uclibcgnueabihf/
source env_install_toolchain.sh
```

3.编译镜像文件

```bash
cd luckfox-pico
# 这里使用busybox/buildroot
./build.sh lunch
./build.sh
```

编译完成效果

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_880198_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>build_successfully.jpg</strong> <em class="xg1">(16.89 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880198" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880198&handlekey=savephoto_880198">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

使用编译好的 buildroot 镜像或使用官方镜像。

需要确保摄像头驱动、 rknpu 驱动和 rockit 驱动、 rkisp 驱动等成功被加载。 板端执行 `lsmod` 验证。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_880200_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>Check_drivers_lsmod.jpg</strong> <em class="xg1">(36.01 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880200" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880200&handlekey=savephoto_880200">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 上传工程

Type-C 数据线连接开发板和电脑；

使用 ADB 方式连接开发板，检查设备状态，是否识别；

```bash
adb devices
adb shell
ls
exit
```

返回电脑根目录，输入 push 文件夹命令

```bash
adb push D:\HFR /
```

adb 推送文件语法：`adb push <本地文件路径> <目标设备路径>`

进入设备文件根目录，检查文件夹是否存在

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_880202_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>push_rtspface.jpg</strong> <em class="xg1">(46.92 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880202" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880202&handlekey=savephoto_880202">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

进入目标文件夹 `HFR`，修改目标执行文件的权限，并运行目标文件

```bash
adb shell
cd HFR
chmod 777 luckfox_pico_rtsp_face
./luckfox_pico_rtsp_face ./model/face1.jpg
```

> 若提示推流窗口被占用，则执行 `RkLunch-stop.sh` 停止推流

```bash
adb shell
cd oem/usr/bin
RkLunch-stop.sh
```

之后重新运行目标人脸识别程序即可。

打开 VLC media player 软件，依次进入媒体 - 打开网络串流 - 网络 - 输入URL

`rtsp://172.32.0.93/live/0`

点击 `播放`，即可实现开发板对摄像头数据的推流显示。

## 效果

人脸模型使用美剧 *老友记 (Friends)* 的剧照

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_880203_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>Friends.jpg</strong> <em class="xg1">(77.97 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880203" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880203&handlekey=savephoto_880203">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

录入人脸模型图片

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_880204_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>HFR_model_face.jpg</strong> <em class="xg1">(37.31 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880204" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880204&handlekey=savephoto_880204">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

电脑屏幕的识别效果

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_880206_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>HFR_PC_Screen_test.gif</strong> <em class="xg1">(10.14 MB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880206" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880206&handlekey=savephoto_880206">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

手机屏幕图片的人脸识别效果

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_880207_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>HFR_PhoneScreen_test.gif</strong> <em class="xg1">(2.17 MB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880207" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880207&handlekey=savephoto_880207">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

识别准确率为 73%

更换人脸模型为 `face2.jpg` 之后的识别效果

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880209" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880209&handlekey=savephoto_880209">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

更换人脸模型为 `face3.jpg` 后的识别效果

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_880210" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=880210&handlekey=savephoto_880210">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 总结

本文介绍了人脸识别的主要实现流程，利用 ArcFace 和 RetinaFace 模型实现高效、快速的人脸检测和识别。模型特征提取，通过 rknn-toolkit2 工具包对模型进行转换，并实现模型的开发板部署，展示了测试结果。为相关领域的开发和应用提供了参考。