【DigiKey创意大赛】手势控制机械臂+6.mediapipe在树莓派上应用

hehung

【DigiKey创意大赛】手势控制机械臂+6.mediapipe在树莓派上应用 [复制链接]

# 前言

Mediapipe是google的一个开源项目，可以提供开源的、跨平台的常用机器学习方案。

mediapipe开发包集成了人脸、眼睛、虹膜、手势、姿态等各种landmark检测与跟踪算法，开源地址：`https://google.github.io/mediapipe/`

本项目中使用python版本的mediapipe来实现手势识别。

# 1 环境搭建

参考官方文档安装基于树莓派的mediapipe：[https://github.com/googlesamples/mediapipe/tree/main/examples/gesture_recognizer/raspberry_pi](https://github.com/googlesamples/mediapipe/tree/main/examples/gesture_recognizer/raspberry_pi)

下面对安装方法作简单总结（可以不去看官方推荐流程）。

## 1.1 使用前提

- 必须为64位的系统（最好更新到Buster），但是我没有使用Buster，而是用了Debain11的树莓派（bullseye）
- 能监控到树莓派上摄像头采集的画面（桌面，虚拟桌面或者相机数据流）

## 1.2 安装

1. 更新pip

```shell
python3 -m pip install pip --upgrade
```

> pip可以使用清华源，速度更快，配置方法参考：[https://mirrors.tuna.tsinghua.edu.cn/help/pypi/](https://mirrors.tuna.tsinghua.edu.cn/help/pypi/)

2. 安装opencv，mediapipe依赖opencv，所以需要先安装opencv

```shell
sudo apt install python3-opencv
sudo pip install opencv-contrib-python
sudo apt-get install -y \
  libopencv-core-dev \
  libopencv-highgui-dev \
  libopencv-calib3d-dev \
  libopencv-features2d-dev \
  libopencv-imgproc-dev \
  libopencv-video-dev
```

3. 安装mediapipe

```shell
sudo python3 -m pip install mediapipe
```

# 2 介绍

手势识别之后会检测出来21个点，每个点分别表示了手中的关键部位，可以通过对关键部位的分析出具体的手势，如下：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_769407" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=769407&handlekey=savephoto_769407">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

# 3 功能验证

新建一个py文件，输入如下内容，能够运行成功，则表示mediapipe安装成功并且可以运行：

```
import cv2
import mediapipe as mp
mp_drawing = mp.solutions.drawing_utils
mp_hands = mp.solutions.hands

# 打开视频流
cap = cv2.VideoCapture(0)

# 导入mediapipe手势识别
with mp_hands.Hands(
      min_detection_confidence=0.5,
      min_tracking_confidence=0.5) as hands:
while cap.isOpened():
  success, image = cap.read()
  if not success:
  print("Ignoring empty camera frame.")
  continue

image.flags.writeable = False
  image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
  results = hands.process(image)

image.flags.writeable = True
  image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
  if results.multi_hand_landmarks:
  for hand_landmarks in results.multi_hand_landmarks:
  mp_drawing.draw_landmarks(
    image,
    hand_landmarks,
    mp_hands.HAND_CONNECTIONS)
  
  # 图片镜像
  cv2.imshow('MediaPipe Hands', cv2.flip(image, 1))
  if cv2.waitKey(1) == 27:
  break
cap.release()
```

> 树莓派运行mediapipe还是有点勉强，有些卡顿

# 4 运行结果

运行结果如下，表示成功，如果运行不成功，则根据提示安装必要工具或者库文件：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_769408" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=769408&handlekey=savephoto_769408">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

Jacktang

用python版本的mediapipe来实现手势识别整不错么

jobszheng5

真棒！

看着就科技感十足

吾妻思萌

帧率多少啊？我的pi贼卡，最高20帧

wangerxian

检测手势需要自己去一个点一个点判断吗？

hehung

吾妻思萌发表于 2024-1-2 09:28 帧率多少啊？我的pi贼卡，最高20帧

没试过帧率，看起来不卡，但是延迟比较高，我手上的动作做完了，树莓派这边会延迟2秒左右显示

hehung

wangerxian 发表于 2024-1-2 09:44 检测手势需要自己去一个点一个点判断吗？

简单的方法就是使用关键点来判断，我就是用的这种方式

hehung

Jacktang 发表于 2024-1-2 07:50 用python版本的mediapipe来实现手势识别整不错么

python+mediapipe构建比较简单

wangerxian

hehung 发表于 2024-1-2 10:45 简单的方法就是使用关键点来判断，我就是用的这种方式

关键点是指头吗？

吾妻思萌

吾妻思萌发表于 2024-1-2 09:28
帧率多少啊？我的pi贼卡，最高20帧

没试过帧率，看起来不卡，但是延迟比较高，我手上的动作做完了，树莓派这边会延迟2秒左右显示

show个fps看看

吾妻思萌

我又想了下，你这个有延时那咋控制机械臂啊？岂不是一点都不跟手？

hehung

吾妻思萌发表于 2024-1-2 11:53 没试过帧率，看起来不卡，但是延迟比较高，我手上的动作做完了，树莓派这边会延迟2秒左右显示 [/quote] ...

昨晚试了下，确实很低，才5,6左右，只能靠眨眼补帧了

hehung

吾妻思萌发表于 2024-1-2 14:32 我又想了下，你这个有延时那咋控制机械臂啊？岂不是一点都不跟手？

是的，不跟手，所以操作起来有点困难，没办法呀，性能就这样

吾妻思萌

hehung 发表于 2024-1-4 09:10 是的，不跟手，所以操作起来有点困难，没办法呀，性能就这样

看看时间都花在哪里了？

hehung

吾妻思萌发表于 2024-1-4 11:51 看看时间都花在哪里了？

主要是mediapipe计算会消耗一些时间

【DigiKey创意大赛】手势控制机械臂+6.mediapipe在树莓派上应用 [复制链接]

最新回复

点评

点评

点评

点评

点评

点评

点评

点评

点评