32

帖子

2

TA的资源

一粒金砂(中级)

21
 
本帖最后由 sgf201 于 2024-11-18 20:02 编辑

申请理由:

1.InsightFace 是一个开源的深度人脸分析工具箱,实现了对人物信息的精确识别,使用它可实现高效的人脸识别、人脸检测和人脸对齐等功能,支持 2D 和 3D 的人脸分析任务,并且为了适应不同的应用场景,它针对训练和部署都进行了优化。

2.个人从事模型推相关部署工作,并在自研专用芯片上进行性能优化,使用过yolov5 yolov8等。insightFace的身份信息识别对我有较大的吸引力,同时在RV1106的使用中还可以通过横向对比了解RK在视觉方面功能部署上的优化方式,在自己的工作中借鉴

3.计划:

a.搭建开发环境,运行demo,实现图像和获取和保存

b.部署InsightFace算法,实现支持3人实时人脸识别并在平台上正常运行

c.分析可进行的性能优化点,确认rk的实现方案

d.进一步优化,提高推理与显示帧率

e.增加视频编码功能,实现一个支持3个预定义人员的智能监控


回复

48

帖子

3

TA的资源

一粒金砂(中级)

22
 

申请理由:

我是一名电子信息工程大三学生,对深度学习有一定的了解,曾经使用过Scikit-learn框架进行学习和实验。熟悉C++、Python等主流编程语言,擅长ai辅助编程。我希望通过这次机会接触嵌入式AI的实际工程项目,深入了解如何在资源有限的嵌入式环境中部署和优化AI算法,从而提升自己的专业技能和解决实际问题的能力。

简述InsightFace和如何在RV1106上部署该算法的思路:

InsightFace是一个开源的人脸识别库,具有先进的2D和3D人脸分析算法,能够将人脸图像转化为特征向量,从而实现高效且准确的面部识别。该库支持多种推理后端(如CPU、GPU、NPU),并提供了SDK和API接口,方便用户将其集成到自己的应用中。对于嵌入式设备RV1106,我们需要考虑设备的计算能力及资源限制,因此在部署时需要优化算法以提高效率。

部署的具体思路如下:

1. 交叉编译和环境配置:RV1106通常运行Linux系统,需要配置适合该平台的交叉编译工具链。编译适用于RV1106的二进制文件,并确保所需的依赖库(如Python 3、OpenCV、NumPy)已正确安装且能支持硬件加速。

2. 模型优化:由于RV1106是嵌入式设备,计算能力有限,需要对InsightFace的模型进行量化、裁剪,或者转化为rkkn等优化格式,以便更高效地在硬件上运行。

3. 人脸检测和对齐:可以使用轻量级的检测算法,如RetinaFace,首先对视频流进行人脸检测。检测到的人脸区域通过人脸对齐算法(如SDUNet)进行标准化,确保后续识别精度。

4. 实时视频流处理:使用OpenCV或其他视频流处理框架,捕获摄像头输入,并实时进行人脸检测和识别。每帧图像中的人脸会被提取出来,进行特征向量的提取。

5. 身份匹配:通过提取的人脸特征向量,可以使用基于最近邻(KNN)或支持向量机(SVM)的算法进行比对,从而确定每张人脸的身份。

计划部署的应用:

在此基础上,我打算将该系统应用于宿舍迎宾铃,识别到特定人物时播放欢迎语音。通过实时识别来实现自动化迎宾的功能。

 
 

回复

2

帖子

0

TA的资源

一粒金砂(初级)

23
 

InsightFace 是一个开源的人脸识别和人脸验证库,基于深度学习技术,尤其是 ArcFace 损失函数,用于实现高效准确的人脸识别。其核心使用了深度卷积神经网络来提取人脸特征,并应用高级的人脸对齐和矫正技术来提高识别精度。

在 RV1106 开发板(基于 Linux 系统)上部署带有 InsightFace 算法的多人实时人脸识别应用,需要考虑以下几个步骤:

1. 环境准备:

确保 RV1106 开发板已安装完整的 Linux 系统并且摄像头功能可用。

配置开发环境,安装必要的软件依赖,如 Python、OpenCV、Numpy 等库。

2. 模型选择和优化:

使用 InsightFace 提供的预训练模型(如基于 ResNet 或 MobileFaceNet 的模型),根据板子的性能进行适当的模型选择,尽量使用轻量级模型以实现实时性。

可以使用工具如 TensorRT、ONNX Runtime 等对模型进行加速和优化,以提升推理速度。

3. 模型转换:

将 InsightFace 模型(PyTorch 或 MXNet 格式)转换为 RV1106 支持的格式,如通过 ONNX 转换为 TensorRT 引擎,确保在 ARM 平台上高效运行。

4. 摄像头输入与图像处理:

使用 OpenCV 等库从摄像头获取实时视频流。

对视频帧进行预处理,如图像缩放、灰度转换等,以符合模型输入要求。

5. 人脸检测与识别:

使用轻量级人脸检测器(如 MTCNN 或 RetinaFace)在每个帧中检测人脸位置。

将检测到的人脸传递给 InsightFace 模型提取特征,并与数据库中存储的人脸特征进行匹配。

6. 多人识别逻辑:

实现一个多线程处理或异步队列来确保实时视频流处理,同时进行多人检测与识别。

编写比对逻辑,计算输入人脸特征与已知人脸特征的相似度(如通过余弦相似度)。

7. 结果显示与优化:

在视频帧上标注识别结果,包括人名和置信度等信息。

进行性能调优,如减少图像帧率、使用高效的数据流处理。

此流程能帮助在 RV1106 开发板上部署实现多人实时人脸识别的应用。根据需求,还可考虑添加一些额外功能,如人脸特征库的管理、实时注册等。

 
 
 

回复

5

帖子

0

TA的资源

一粒金砂(中级)

24
 

申请理由:

InspireFace is a cross-platform face recognition SDK developed in C/C++, supporting multiple operating systems and various backend types for inference, such as CPU, GPU, and NPU.

InspireFace 为 InsightFace的C++版本的跨平台的SDK,人脸识别相关技术的在嵌入式设备上的开发难点为将各种推理框架的模型转换成RKNN模型。
开发计划:

1,官方提供了已经适配了rv1126的模型数据,尝试移植到RV1106上,实在不行再使用python版本的API。

2,摄像头采集图像,基于OpenCV,实现多人图片中的人脸特征识别。

 
 
 

回复

422

帖子

10

TA的资源

纯净的硅(初级)

25
 

我所了解的InsightFace是一个开源的人脸识别工具包,可以通过提取人脸的关键点来识别人,论文大致读了一遍,不过还是没懂,放这里,大家不用再到外网下载了

1801.07698v4.pdf (10.92 MB, 下载次数: 2)

有空的话我翻译一份给大家看看。

打算在RV1106 Linux开发板(带摄像头)部署美元识别功能:
1、手边正好有几张美元,不同面值的美元头像各不相同(尽管我脸盲,但也看得出区别),我只知道1美元华盛顿和100美元富兰克林,其它人不认识。
2、在一期项目里已经尝试在幸狐pico上使用flask部署了网络传输连续图像的功能,这次准备套用上次代码,仍然已开发板作为server部署一个http网站,当摄像头采集到图像(或者直接使用网络传输到特定图像)后,将经过处理的图像视频传到电脑上显示出来
3、通过识别多张美元中人脸,计算出图中到底有多少钱。

具体实现步骤:
1、电脑上安装,拿足够多的图像进行训练(估计要在网络上搜一下图片)
2、转onnx模型。
3、部署到RV1106开发板上,并进行验证。
4、进行前端开发,做界面。

 
 
 

回复

10

帖子

1

TA的资源

一粒金砂(中级)

26
 

工作项目需要,需要制作一款带AI识别算法的在线监测装置,用于电力物联网。

 
 
 

回复

46

帖子

0

TA的资源

一粒金砂(中级)

27
 

insightface是一个开源的基于Pytorch和MXNet实现的2D/3D人脸分析工具,它实现了多个SOTA人脸识别、人脸检测、人脸对齐算法,并对训练和部署进行了优化。insightface用的是5个特征点检测,因此算法资源要求相对较少,容易在嵌入式系统上进行部署和实现。

使用 RV1106 的 SDK 和工具链(如 Rockchip 的 RKNN Toolkit)来优化和部署模型。使用 TensorFlow Lite 或 PyTorch,安装 OpenCV 和 dlib 等库用于图像处理和人脸检测。InsightFace 提供了多个预训练模型。选择一个适合实时处理的轻量级模型,如 ResNet 或 MobileFaceNet

优化模型。使用 TensorFlow Lite 或 ONNX 格式来将模型转换为适合移动端或嵌入式设备的轻量级格式。使用 Quantization(量化)等方法来减少模型大小和计算量,尤其是对于硬件加速的 NPU 可以提高推理速度。使用 RKNN Toolkit 将模型转换为 RV1106 可识别的格式,并利用 NPU 提供的加速。

 Step 1:获取带有摄像头的RV1106开发板。 Step 2:熟悉并配置RV1106 SDK,下载并解压SDK文件,查看其目录结构,确保开发环境正常配置。 Step 3:进行交叉编译。 Step 4:部署InsightFace算法,确保算法支持多人实时人脸识别并在RV1106平台上正常运行。 Step 5:测试和调试,确保算法可以在复杂的环境下稳定运行,支持多人识别并实现实时反馈。 2. 具体应用  2.1 复杂场景下多人实时人脸识别:  家庭场景:通过本地化部署,在家庭环境中实现多人脸实时识别。此方案能够保证隐私安全,无需上传任何个人数据至云端。算法在不同光照、角度及遮挡情况下的表现将成为优化的重点。 会议场景:利用会议室内的多个摄像头和人脸数据进行实时识别,验证算法在多人环境下的实时性和准确性,进一步优化识别精度和响应速度。 通过这一部署和应用方案,我们希望能够探索如何在RV1106平台上实现高效的多人实时人脸识别,尤其是在智能家居中的隐私保护需求下,提供更加安全和高效的解决方案。

 

 
 
 

回复

2

帖子

1

TA的资源

一粒金砂(初级)

28
 
-申请理由  挑战自我,电子专业出身,汽车方向耕耘,希望通过此次活动加深自己对汽车座舱DMS/OMS/AVM/用户中心/DVR和智驾认识  -用自己的话描述: 利用项目所提供的代码,在PC端完成算法流程的验证,onnx模型转换为rknn模型文件,加以数据采集、对比、分析,得出贴近整车的反馈状态。针对原图加以裁剪和逻辑处理,期望可以得到理想的返回值;  -打算在RV1106 Linux开发板(带摄像头)部署什么应用? 车内DMS/OMS/用户中心数据采集、分析,车外哨兵,DVR,360数据采集识别、分析。
 
 
 

回复

9

帖子

0

TA的资源

一粒金砂(中级)

29
 

申请理由:

1、InsightFace是由旷视开源的、基于Pytorch和MXNet框架的2D&3D深度人脸分析工具箱。当中实现了先进的人脸识别、人脸检测和人脸对齐算法,并针对训练和部署进行了优化。该库提供了C/C++ SDK,支持不同的操作系统和硬件后端,如CPU、GPU、NPU等,应用层开发可以很快速便捷的进行部署。

2、本人多年C++开发,从事视频检测、视频识别相关领域的工作,有幸参与过大型OCR自动化处理工程的实际落地,对于TensorRT、NCNN、TNN等框架在不同应用场景下的使用有一定的经验,曾在Nvidia Jetson Nano、树莓派平台上移植过目标检测、行为分析等模型,但因为其它诸多的因素,还未使用过RV系列的平台,希盼能借此活动对国产硬件平台做进一步的了解,并在后续实际的项目中进行推广和使用。

基本的思路如下:
1、在RV1106开发板中部署平台支持的Linux操作系统,如适用于嵌入式硬件的Buildroot系统等。
2、使用RV1106平台支持的交叉编译工具链对需要使用到的环境依赖进行编译,主要涉及到Opencv、RKNN等
3、摄像头的基本调试,主要测试驱动是否正常,视频帧能否正常获取等。
3、使用预训练模型对RV1106进行硬件能力评估,根据评估情况结合项目中功能指标的要求,挑选适合的网络主干,如ResNet、MobileNet、DenseNet等。
4、使用RKNN-Toolkit对模型进行转换、量化等优化工作,根据其性能表现、内存表现选取最终的模型结构及适合的模型精度(int4、int8、int16精度选择)。
5、将选取的模型应用到系统中,系统主体流程简述为:使用Opencv从摄像头中获取单帧图像(根据情况适当的进行抽帧)->使用模型对人脸进行检测、对齐->使用基本的分类算法对人脸进行分类输出->结果数据合成输出。

应用场景:
门禁打卡

 
 
 

回复

5

帖子

3

TA的资源

一粒金砂(中级)

30
 

申请理由:

对InsightFace人脸识别项目非常感兴趣。同时对于luckyfox提供的开发板,我也被他的小尺寸十分吸引。我觉得不仅仅是用来用来人脸识别,这块开发板还可以用在其他各行各业。我再硕士期间学习过深度学习和python,一直都是研究模型的训练评估,但是没有部署的经验,希望借此机会,对深度学习有进一步认识。

打算部署的应用:

我计划在RV1106 Linux开发板上部署一个智能门禁系统,该系统能够实时识别进入人员的身份,并根据预设的权限控制门的开启。

 
 
 

回复

6

帖子

0

TA的资源

一粒金砂(中级)

31
 

申请理由:

    本人开发过多款ISP摄像头,主要负责BSP驱动开发工作,使用过的芯片包括RV1106,RK3588和RK3568,在rv1106上移植调通过AIISP功能,可在微光环境下得到清晰的图像,本次申请的目的是想学习AI模型是如何部署在边缘设备端,以及验证在暗室环境下人脸识别模型是否可以起到正常工作效果。

    InsightFace是一套基于深度学习的人脸分析工具,包括人脸检测、识别和表征等功能,具有高精度和高效率的特点。在RV1106上部署InsightFace算法主要有以下步骤:

    1.在RV1106的SDK上,搭建一套适配硬件摄像头的板级配置,并验证摄像头驱动是否正常工作,V4L2能否抓取到图像数据。

    2. 把InsightFace的AI模型通过RKNN转化为可在rv1106上运行的格式,并验证是否起效。

    3. 使用量化,减枝蒸馏等模式减少模型大小和计算量,加快推理速度和降低系统功耗。

    计划部署的应用:

        在黑暗环境下的进行多人实时人脸识别,可应用在夜间微光地段的安保监控,或者野外设施的看管监控

    

 
 
 

回复

136

帖子

2

TA的资源

一粒金砂(高级)

32
 

赶个晚集

申请参加!上次跟着大佬实现了数字识别,这次继续跳转人脸识别。

InsigheFace是旷视开源的知名人脸识别项目。计划先在PC上进行模型设计,训练,然后使用ROCKCHIP提供的工具转换模型,最后部署在开发板上。

 
 
 

回复

405

帖子

10

TA的资源

一粒金砂(高级)

33
 

InsightFace,也称为ArcFace,是一种基于深度学习的人脸识别算法,其核心在于引入了一种加性角度间隔的softmax损失函数(Arc-Softmax),以更好地学习到人脸特征之间的区分性。该模型在多个公开数据集上取得了优异的表现,尤其是在大规模人脸识别任务中。

首先对人脸进行检测->然后对人脸的关键点检测->然后对人脸进行校准,裁剪合适大小后进行关键特征提取->依照特征进行特征库搜索

打算部署人脸的登陆系统,以及肢体动作识别

 
 
 

回复

59

帖子

0

TA的资源

一粒金砂(中级)

34
 

InsightFace是一款高效的人脸识别、人脸检测和人脸对齐算法库。

开发环境搭建,熟悉了解并安装Python和相关的依赖库,通过在ubuntu操作系统进行人脸识别算法的开发。

使用RKNN-Toolkit2进行算法程序的转换,因为RKNN是在电脑端进行应用的,在嵌入式端无法直接运行。所以需要使用工具进行算法程序的转换。

通过在pc端进行人脸识别算法的开发,最终将算法程序部署到开发板上,进行在巡更系统中的人脸识别使用和调试。

 
 
 

回复
您需要登录后才可以回帖 登录 | 注册

随便看看
查找数据手册?

EEWorld Datasheet 技术支持

相关文章 更多>>
关闭
站长推荐上一条 1/10 下一条
Microchip 直播|利用motorBench开发套件高效开发电机磁场定向控制方案 报名中!
直播主题:利用motorBench开发套件高效开发电机磁场定向控制方案
直播时间:2025年3月25日(星期二)上午10:30-11:30
快来报名!

查看 »

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 国产芯 安防电子 汽车电子 手机便携 工业控制 家用电子 医疗电子 测试测量 网络通信 物联网

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2025 EEWORLD.com.cn, Inc. All rights reserved
快速回复 返回顶部 返回列表