[RV1106&InsightFace]--InsightFace本地部署

许大锤

[RV1106&InsightFace]--InsightFace本地部署 [复制链接]

<i class="pstatus"> 本帖最后由 许大锤 于 2025-1-3 18:02 编辑 </i>

## InsightFace 和 ArcFace 介绍

**InsightFace** 是一个开源的人脸识别工具集，基于深度学习技术，支持多种人脸检测、对齐和特征提取算法。该项目的核心之一是 **ArcFace**，它是一种用于优化人脸特征嵌入的损失函数。

------

### ArcFace 的核心特点

1. **目标**：ArcFace 的目标是生成高判别力的特征嵌入，用于人脸识别和验证。

2. **损失函数**：ArcFace 使用基于角度的加权损失（Additive Angular Margin Loss, AAM），在特征嵌入空间中引入明确的间隔，从而提升分类边界的区分性。

3. **关键公式**：
 $$
 ArcFace 定义了 \cos(\theta + m)作为优化目标，其中
 $$

$$
 \theta是类别中心与样本之间的角度，m 是额外的角度边距，用于强化分类边界。
 $$

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_876922" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=876922&handlekey=savephoto_876922">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

4. **架构支持**：支持 ResNet 和 MobileFaceNet 等轻量级和高性能网络。

5. **训练和推理**：

- 训练：优化网络生成的特征嵌入，使其在多样化的人脸数据集上具有强区分性。
 - 推理：提取特征后，使用余弦相似度或其他度量方法计算相似性。

------

### InsightFace 项目的模块

1. **人脸检测**：使用 RetinaFace 等高性能检测算法。
2. **人脸对齐**：提供对齐方法，确保特征提取的一致性。
3. **人脸特征提取**：基于 ArcFace 等方法提取嵌入向量。
4. **工具支持**：InsightFace 提供完整的训练和推理框架，支持 TensorRT、ONNX 和 PyTorch。

------

### 参考资料

- [InsightFace GitHub 项目](https://github.com/deepinsight/insightface?tab=readme-ov-file)
- [ArcFace 官方网站](https://insightface.ai/arcface)

## InsightFace部署

### python-package

```shell
pip install insightface
pip install onnxruntime
pip install onnxruntime-gpu
pip install opencv-contrib-python#安装带有GUI的OpenCV
```

> 对于 `insightface<=0.1.5` ，我们使用 MXNet 作为推理后端。
>
> 从`insightface>=0.2`开始，我们使用onnxruntime作为推理后端。
>
> 必须手动安装 `onnxruntime-gpu` 才能启用 GPU 推理，或安装 `onnxruntime` 以仅使用 CPU 推理。

手动下载 zip 模型包后，请先将其解压到 `~/.insightface/models/` 下，然后再调用程序。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_876920" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=876920&handlekey=savephoto_876920">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

对于insightface>=0.3.3，一旦我们初始化`app = FaceAnalysis()`实例，模型就会自动下载。

也可以使用**自己训练的模型**。

> 只需在`~/.insightface/models/`下创建一个新的模型目录，并将我们提供的预训练模型替换为您自己的模型。然后调用`app = FaceAnalysis(name='your_model_zoo')`加载这些模型。

> 最新的insightface库仅支持onnx模型。一旦您通过 PyTorch、MXNet 或任何其他框架训练了检测或识别模型，您可以将其转换为 onnx 格式，然后可以使用 Insightface 库调用它们。

### 代码实现
图片中人物检测

```python
import insightface
from insightface.app import FaceAnalysis
import cv2

# 初始化 InsightFace 的人脸分析模块
app = FaceAnalysis()
app.prepare(ctx_id=0)# ctx_id=0 使用 GPU，-1 使用 CPU

# 读取图像
img = cv2.imread("./img/Big_liar.jpg")

# 检查图像是否成功加载
if img is None:
  print("Error: Unable to load image. Check file path or file integrity.")
else:
  # 检测图像中的人脸
  faces = app.get(img)

# 打印返回的 faces 列表内容，检查数据结构
  print(f"Detected faces: {faces}")

if len(faces) == 0:
  print("No faces detected in the image.")
  else:
  for i, face in enumerate(faces):
    print(f"Detected face {i}:")

# 打印所有键，检查返回的字典结构
    print(f"Keys: {face.keys()}")

# 如果包含 'landmark' 键，则打印
    if 'landmark' in face:
      print(f"Landmark: {face['landmark']}")# 人脸关键点位置
    else:
      print("No landmark detected.")

# 打印其他可能有用的字段，例如 bounding box 和 confidence
    print(f"Bounding box: {face.get('bbox')}")
    print(f"Confidence: {face.get('confidence')}")

# 获取人脸框（bbox）
    bbox = face.get('bbox')

# 使用 .any() 来检查 bbox 是否包含有效的边界框数据
    if bbox is not None and bbox.any():
      # 绘制人脸框
      cv2.rectangle(img, (int(bbox[0]), int(bbox[1])), (int(bbox[2]), int(bbox[3])), (0, 255, 0), 2)
    else:
      print("Invalid bounding box.")

# 显示结果
  cv2.imshow("Face Detection", img)
  cv2.waitKey(0)
  cv2.destroyAllWindows()

```

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_876921_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>识别demo.jpg</strong> <em class="xg1">(158.57 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_876921" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=876921&handlekey=savephoto_876921">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

视频（流）人物检测：
```python
import cv2
import insightface
from insightface.app import FaceAnalysis
import time

# 初始化FaceAnalysis应用，使用GPU加速（ctx_id=0 表示使用GPU，-1 表示使用CPU）
app = FaceAnalysis()
app.prepare(ctx_id=1, det_size=(640, 640))# 640x640 是输入图像的尺寸

# 读取视频文件或打开摄像头（摄像头为 0）
video_path = './video/1.mp4'# 如果使用摄像头，替换为 0
cap = cv2.VideoCapture(video_path)

# 检查视频是否成功打开
if not cap.isOpened():
  print("无法打开视频文件")
  exit()

# 设置视频帧的显示尺寸（可选，减少分辨率有助于提高帧率）
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)

# 获取视频的帧率
fps = cap.get(cv2.CAP_PROP_FPS)
frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

# 定义输出视频文件的编码格式和输出路径
output_video_path = './video/1_output_video.mp4'
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter(output_video_path, fourcc, fps, (frame_width, frame_height))

frame_count = 0
start_time = time.time()

while True:
  # 读取一帧
  ret, frame = cap.read()
  if not ret:
  break

frame_count += 1

# 使用 ArcFace 进行人脸检测
  faces = app.get(frame)

# 在每个检测到的人脸上绘制矩形框
  for face in faces:
  bbox = face.bbox
  cv2.rectangle(frame, (int(bbox[0]), int(bbox[1])), (int(bbox[2]), int(bbox[3])), (0, 255, 0), 2)

# 标注人脸的置信度分数
  if face.score is not None:
    cv2.putText(frame, f"Score: {face.score:.2f}",
        (int(bbox[0]), int(bbox[1]) - 10),
        cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2)

# 将处理后的帧写入输出视频文件
  out.write(frame)

# 计算并显示当前帧率
  elapsed_time = time.time() - start_time
  fps_current = frame_count / elapsed_time
  print(f"当前帧率: {fps_current:.2f} FPS")

# 显示视频帧
  cv2.imshow('Video Face Detection', frame)

# 按 'q' 键退出视频显示
  if cv2.waitKey(1) & 0xFF == ord('q'):
  break

# 释放视频捕捉对象和视频写入对象
cap.release()
out.release()

# 关闭窗口
cv2.destroyAllWindows()

print(f"视频处理完成，输出文件：{output_video_path}")
```

### 参考

https://github.com/deepinsight/insightface/tree/master/python-package

Jacktang

最新的insightface库仅支持onnx模型,其他的可以转换过来，用 Insightface 库调用它们，就是转换麻烦不？

许大锤

Jacktang 发表于 2025-1-3 07:31 最新的insightface库仅支持onnx模型,其他的可以转换过来，用 Insightface 库调用它们，就是转换麻烦不？

不麻烦，就几行代码，TensorFlow 或 PyTorch转换起来挺简单的。

PyTorch用torch.onnx.export()，TensorFlow也有tf2onnx工具进行转换。

[RV1106&InsightFace]--InsightFace本地部署 [复制链接]

最新回复

点评