【嵌入式AI挑战营,进阶】从零开始在RV1106上部署人脸识别应用2-Insightface框架应用

junan007 · 发表于2024-12-23 16:39

【嵌入式AI挑战营,进阶】从零开始在RV1106上部署人脸识别应用2-Insightface框架应用 [复制链接]

<i class="pstatus"> 本帖最后由 junan007 于 2024-12-25 09:39 编辑 </i>

# 1、前言

本文为[【从零开始在RV1106上部署人脸识别应用】](https://bbs.eeworld.com.cn/thread-1302332-1-1.html)的扩展篇，有小伙伴问能不能专门出个Insightface SDK版本的示例程序，为此再加上自已对于Insightface SDK的一些粗浅理解就有了本篇，供参考！

# 2、InsightFace框架模型探索

InsightFace框架中实现了众多与人脸相关的算法，包括人脸检测、对齐、特征生成等多种类型，每个类型中又分别整合实现了多种不同的实现，如retinaface、scrfd、blazeface、arcface、vpl等等。每种算法都提供了训练和测试评估的脚本，这些脚本在源代码的alignment, attribute, detection, recognition下对应算法的子目录中可以找到，其中还有数据集的描述信息，根据这些数据集的描述，再结合自已的数据，就可以在预训练模型的基础上进行微调，从而得到符合自已业务场景下的模型，使用上非常的方便

从cpp-package\inspireface\cpp\sample\cpp下的示例程序可以看到SDK API的使用方法，基本上涵盖了绝大多数的使用场景，API的调用简单明了，就算是我这种资深小白看完之后也能很快上手，如果有不清楚的用法建议多看看这些示例程序。

无论你使用的哪种方式，我们首先要做的是装载模型，官方分别给我们提供了Pikachu、Megatron、Gundam_RV1109三个测试包，但却没有找到相关的文档描述这些文件，只能先自已来分析。通过查看源码得知这些包就是压缩包文件，改名后用解压软件打开可以看到如下的内容，至于为什么取这个名字，只能说作者可能是比较喜欢机甲、皮卡丘的二次元爱好者吧。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_873909_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image.png</strong> <em class="xg1">(131.29 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_873909" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=873909&handlekey=savephoto_873909">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

从其结构可以看出模型包是由一个配置文件+10个模型文件所组成的，其中`__inspire__`文件以YAML的格式记录了这个模型包中每个模型的参数，如类型、输入输出的层名、输入图像的通道参数等，以Megatron为例，其中记录的参数：

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_873910_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image2.png</strong> <em class="xg1">(40.98 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_873910" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=873910&handlekey=savephoto_873910">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

将解包后的模型名后加个.mnn扩展名,使用Netron工具查看也可以验证这一点：

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_873911_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image3.png</strong> <em class="xg1">(46.75 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_873911" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=873911&handlekey=savephoto_873911">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

从提供的三个包来看，目前支持MNN和RKNN两种类型的模型

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_873912_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>image4.png</strong> <em class="xg1">(28.12 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_873912" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=873912&handlekey=savephoto_873912">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

其中RKNN类型的模型似乎仅支持RKNPU1类型的设备，在RKNPU2类型的设备上无法正常使用，应该是适配尚未完成。

通过上述的探索和发现，如果要使用自已训练的模型后，只需要使用下面的方式进行调整，就可以在已有的应用中快速进行更新，你也可以根据需要仅更新其中的某个模型或者全部模型。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_873913" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=873913&handlekey=savephoto_873913">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

上述方法同样适用于Python API环境，不同的是Python API直接使用onnxruntime库进行模型计算，用户需要根据自身的硬件环境选择安装CPU/GPU版本的onnxruntime库，模型包为多个onnx模型文件所组成的压缩文件。

# 3、后记

如果你只是想简单快速的部署人脸应用，可以根据[【从零开始在RV1106上部署人脸识别应用】](https://bbs.eeworld.com.cn/thread-1302332-1-1.html)中所描述的方法使用交叉编译得到可运行于板卡上的C++ SDK运行时库，通过直接使用官方提供的模型就可以迅速的部署自已的人脸应用，我这儿提供了一个简单的示例程序[https://github.com/junanxia/rkface_insightface](https://github.com/junanxia/rkface_insightface)，其中使用了RKMPI与Insightface SDK相结合的方式来实现了人脸检测和识别匹配，相较于前篇中调用多个模型的方法，这个程序更简捷易用。

最后，高达红色异端改镇楼！希望官方啥时候也能提供个Gundam_RV1106。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_873914" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=873914&handlekey=savephoto_873914">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

junan007 · 发表于2024-12-24 09:34

另外，官方目前已适配并提供了Gundam_RV1106，有兴趣的可以去https://github.com/HyperInspire/InspireFace/tree/feature/rv1106

nmg · 发表于2024-12-24 15:10

Gundam_RV1106是什么？

nmg · 发表于2024-12-24 15:15

junan007 发表于 2024-12-24 09:34 另外，官方目前已适配并提供了Gundam_RV1106，有兴趣的可以去https://github.com/HyperInspire/InspireFace ...

那是不是就可以直接移植啦？

junan007 · 发表于2024-12-25 09:31

nmg 发表于 2024-12-24 15:15 那是不是就可以直接移植啦？

是的，直接拉新版的代码编译后，使用Gundam_RV1106模型包就是RKNN方式推理了。

wangerxian · 发表于2024-12-25 16:55

nmg 发表于 2024-12-24 15:10 Gundam_RV1106是什么？

估计就是一个SDK的名字吧。

nmg · 发表于2024-12-25 17:45

junan007 发表于 2024-12-25 09:31 是的，直接拉新版的代码编译后，使用Gundam_RV1106模型包就是RKNN方式推理了。

期待你后续搞出来分享

junan007 · 发表于2024-12-26 09:48

nmg 发表于 2024-12-25 17:45 期待你后续搞出来分享

Gundam_RV1106是Insightface官方提供的一个适用于RKNN加速的模型包，内部的模型文件已做过转换，如果只是使用的话不需要自已再做ONNX->RKNN的转换了。另外https://github.com/junanxia/rkface_insightface我已更新到新版本的SDK,并默认使用Gundam_RV1106模型包，有兴趣的可以看看。因为模型包变大了一些，板子空间有限，建议放到sd卡上。

【嵌入式AI挑战营,进阶】从零开始在RV1106上部署人脸识别应用2-Insightface框架应用 [复制链接]

最新回复

点评

点评

点评

点评

点评