【DigiKey“智造万物，快乐不停”创意大赛】+人脸识别储物柜作品提交

xscc

【DigiKey“智造万物，快乐不停”创意大赛】+人脸识别储物柜作品提交 [复制链接]

作品名称：人脸识别储物柜
作者：xscc

一、作品简介

人脸识别储物柜，通过人脸识别完成储物操作，解决传统储物柜钥匙或小票丢失带来的不便。项目主控采用树莓派4B，外扩摄像头和执行机构完成设计。

成品照片：

项目用到的板卡和模块有，1、树莓派4B，2、罗技USB摄像头，3、继电器模块，4、电控锁，5、电源。

树莓派4B

USB摄像头

继电器模块

电控锁

主要功能通过摄像头采集人员面部信息，在树莓派上运行OPENCV图像库，进行图形采集和特征提取工作，如果和存储的特征库吻合，则通过树莓派上GPIO17驱动继电器打开柜门锁完成存储工作。

二、系统框图

项目选用树莓派4B作为主控，安装官方64位系统，编程语言选用Python开发，Python编程符合自然语言习惯，上手快，官方系统已经安装Python。然后安装OpenCV库，OpenCV是开源计算机视觉库，拥有强大的内置函数和开源社群。OpenCV配合便携开源廉价的树莓派，可以直接读取来自摄像头的视频，进行人脸识别、边缘检测、图像识别等各种计算机视觉开发任务。树莓派系统和OpenCV安装网上教程很多，按教程一步步完成就行，此处不再重复。

硬件设计采用树莓派4B作为主控、HDMI显示屏、USB摄像头、一位继电器模块、电控门锁和电源，TF卡等附件组成。电路图如下图所示：

树莓派4B运行操纵系统和OPENCV图像识别库，USB摄像头负责采集人脸信息，继电器和电控锁完成开锁工作。

当人脸特征符合存储的数据后，树莓派GPIO17输出高电平，驱动继电器接通三秒，打开电控锁，弹出柜门。

软件流程见下图：

三、各部分功能说明

由于是演示只设计了一个柜门，硬件电路较为简单，就是通过树莓派GPIO17脚驱动继电器打开电控锁，扩展一个继电器是因为电控锁动作所需电流较大5V1A，树莓派GPIO引脚提供不了所需电流。

开发工具使用的是 Python2 作为开发语言，OpenCV 作为图像处理库，使用树莓派自带的 Thonny编辑器。

软件部分采用Python语言开发，代码参考了OpenCV例程。Python编辑器采用Thonny。它简单易用，可以在树莓派上轻松使用。它的用户界面直观，具有代码自动缩进、语法高亮等功能。

在工程目录下创建dataset文件夹储存人脸样本，和trainer文件夹储存训练数据。并将OpenCV提供的haarcascade 分类器（haarcascade_frontalface_default.xml)拷贝到工程目录下。目录结构和文件见下图。

dataset:放人脸图片的文件，里面有诸如ABCD文件夹，每个文件夹里是诸如ABCD的数据图片。

faces：数据文件，存放id和name.

face_dataset_01.py：人脸数据采集

face_training_02.py：训练已有数据并生成模型

face_recognition_03.py：人脸识别比对和开锁工作

首先是人脸数据的采集，在Thonny编辑器中运行程序1。人脸录入过程是用USB摄像头对准屏幕采集预先下载好的人脸图像，能够将视频图像显示到界面中，并对人脸进行检测，将图像中所有的人脸检测出来，并用矩形框框出。

采集30张灰度图做图像特征识别。程序会收集30个样本数据，存储样本数据在dataset中，可在用户界面直接打查看。

运行程序2进行训练人脸特征数据，会读取捕获的人脸图像进行识别训练，并将训练数据保存在程序目录下的文件中。

运行程序3进行人脸识别比对和开锁工作，用摄像头对准事先下载的图片，依次进行识别。

如人像比对不正确，显示unknow。

如人像比对正确，显示OPEN DOOR，并驱动电控锁打开柜门。

四、作品源码

1.face_dataset_01.py：人脸数据采集

import cv2
import os
 
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video width
cam.set(4, 480) # set video height
  
face_detector = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

# For each person, enter one numeric face id
face_id = input('\n enter user id end press <return> ==>  ')
  
print("\n [INFO] Initializing face capture. Look the camera and wait ...")
# Initialize individual sampling face count
count = 0
  
while(True):
     ret, img = cam.read()
     img = cv2.flip(img, -1) # flip video image vertically
     gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
     faces = face_detector.detectMultiScale(gray, 1.3, 5)
  
     for (x,y,w,h) in faces:
         cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)     
         count += 1
  
         # Save the captured image into the datasets folder
         cv2.imwrite("dataset/User." + str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w])
  
         cv2.imshow('image', img)
  
     k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video
     if k == 27:
         break
     elif count >= 30: # Take 30 face sample and stop video
          break
  
# Do a bit of cleanup
print("\n [INFO] Exiting Program and cleanup stuff")
cam.release()
cv2.destroyAllWindows()

2.face_training_02_02.py：训练已有数据并生成模型

import numpy as np
from PIL import Image
import os
import cv2
 
# Path for face image database
path = 'dataset'
 
recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier("haarcascade_frontalface_default.xml");
 
# function to get the images and label data
def getImagesAndLabels(path):
     imagePaths = [os.path.join(path,f) for f in os.listdir(path)]     
     faceSamples=[]
     ids = []
     for imagePath in imagePaths:
         PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale
         img_numpy = np.array(PIL_img,'uint8')
         id = int(os.path.split(imagePath)[-1].split(".")[1])
         faces = detector.detectMultiScale(img_numpy)
         for (x,y,w,h) in faces:
             faceSamples.append(img_numpy[y:y+h,x:x+w])
             ids.append(id)
     return faceSamples,ids
  
print ("\n [INFO] Training faces. It will take a few seconds. Wait ...")
faces,ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))
  
# Save the model into trainer/trainer.yml
recognizer.write('trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi
  
# Print the numer of faces trained and end program
print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(ids))))

3、face_recognition_03.py：人脸识别比对和开锁工作

import cv2
import numpy as np
import os
from gpiozero import LED
from time import sleep

# 定义引脚编号
pin = 17
 
# 创建LED对象
led = LED(pin)

 
recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('trainer/trainer.yml')
cascadePath = "haarcascade_frontalface_default.xml"
faceCascade = cv2.CascadeClassifier(cascadePath);
  
font = cv2.FONT_HERSHEY_SIMPLEX
  
#iniciate id counter
id = 0
  
# names related to ids: example ==> 1: id=1,  etc
names = ['None', '1', '2', '3', '4', '5'] 
  
# Initialize and start realtime video capture
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video widht
cam.set(4, 480) # set video height
  
# Define min window size to be recognized as a face
minW = 0.1*cam.get(3)
minH = 0.1*cam.get(4)

#开门
def open_door():
    print("开锁...")
    #开锁三秒
    led.on()
    sleep(3)
    led.off()
    # 清理资源
    led.close()
  
while True:
     ret, img =cam.read()
     img = cv2.flip(img, -1) # Flip vertically
     gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
      
     faces = faceCascade.detectMultiScale( 
         gray,
         scaleFactor = 1.2,
         minNeighbors = 5,
         minSize = (int(minW), int(minH)),
        )
  
     for(x,y,w,h) in faces:
         cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)
         id, confidence = recognizer.predict(gray[y:y+h,x:x+w])
  
         # Check if confidence is less them 100 ==> "0" is perfect match 
         if (confidence < 60):
             id = names[id]
             confidence = "  {0}%".format(round(100 - confidence))
             
             #cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
             cv2.putText(img, str("OPEN DOOR"), (x+5,y-5), font, 1, (255,255,255), 2)
             #cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)
             cv2.imshow('camera',img)
             open_door()
         else:
             id = "unknown"
             confidence = "  {0}%".format(round(100 - confidence))          
             cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
             cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)
             cv2.imshow('camera',img) 
  
     k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video
     if k == 27:
         break
  
 # Do a bit of cleanup
print("\n [INFO] Exiting Program and cleanup stuff")
cam.release()
cv2.destroyAllWindows()

五、作品功能演示视频

演示

六、项目总结

在Raspberry Pi上使用OpenCV和Python进行图像处理非常简便快捷，可以实现实时面部检测，检测速度也很快，达到了实用级别。虽然当前使用Haar 级联的设置非常有效，但今后随着深度学习等进步可以提高准确性。

目前项目只是实现了基本功能，后面还需要进一步改进，使用QT完成界面开发，屏幕换用触控屏幕，增加活体检测功能提高安全性。

分享帖子链接

1、【DigiKey“智造万物，快乐不停”创意大赛】+人脸识别储物柜 GPIO设置和柜门机构

https://bbs.eeworld.com.cn/thread-1269691-1-1.html

2、【DigiKey“智造万物，快乐不停”创意大赛】+人脸识别储物柜摄像头选择与配置

https://bbs.eeworld.com.cn/thread-1269587-1-1.html

3、【DigiKey创意大赛】+收货开箱 https://bbs.eeworld.com.cn/thread-1261214-1-1.html

4、代码下载地址https://download.eeworld.com.cn/detail/xscc/630812