【K230嵌入式AI开发板测评】+手语简单识别篇（一）

jinglixixi

【K230嵌入式AI开发板测评】+手语简单识别篇（一） [复制链接]

 

手语是听力残障人群交流的基本方式，是一种特殊的语言形式，它主要通过手势的变化和运动来表示语义。

图1 是以手语方式表示因为字符的示意图，图2则是表示数字的示意图。

 

图1  字符示意

 

          

 

图2 数字示意

 

借助CanMV K230 AI视觉所提供的手掌与关键点检测功能，则可以为手语的识别提供一定的。

为进行关键点的检测与识别，要先进行手掌的检测，然后再提取手指关节的位置，以进行分类识别。

手掌检测的处理流程如下：

 

 

在运行手掌检测程序的情况下，其检测结果如图3所示。

 

图3 手掌检测

 

执行关键点检测的处理流程如下：

 

 

在运行关键点检测程序的情况下，其检测结果如图4所示。

 

图4 关键点检测

 

在提取关键点的基础上，即可对手势进行判读，其处理如下：

 

 

进行手势识别的测试结果如图5至图7所示，可识别出3种手势。

 

图5 fist识别

 

 

图6 yeah识别

 

 

图7 five识别

 

在完成右手识别后，对左手的识别结果如图8和图9所示，说明对左手的识别依然有效。

 

图8 fist识别

 

 

图9 yeah识别

 

后续我们将探讨如何来定义手势以扩展所识别的内容，为简单的手语识别打下可靠的基础。

 

wangerxian

K230运行手势识别模型时，视频帧率能达到多少？

jinglixixi

wangerxian 发表于 2024-10-15 18:21 K230运行手势识别模型时，视频帧率能达到多少？

视频帧率在 8.634869 左右

wangerxian

jinglixixi 发表于 2024-10-15 21:05 视频帧率在 8.634869 左右

那还不错，做一些控制指令挺好的。

jinglixixi

wangerxian 发表于 2024-10-16 09:14 那还不错，做一些控制指令挺好的。

是，这块板子实在是不错，有研究和实用价值 ！