Esp 32-S3智能语音机器人

plcpro

Esp 32-S3智能语音机器人 [复制链接]

 

• 一功能介绍

        本项目通过esp32-S3开发版Kovro-2 V3.1版本，接受语音输入，并进行智能判断执行所要求的命令。本项目为离线语音智能判断。
        通过关键词“嗨，乐鑫”，唤醒智能机器人。然后在规定的时间内说出想要他完成的命令。当超出命令等待时间后，退出接收命令状态。再次输入语音命令必须再次唤醒他。项目初始的命令总共有16条。可以在配置文件中设定其他的语音命令，一共可以设置200条。当开发板被唤醒时，提示已经唤醒，等待接收命令。在规定的时间内接收到正确的语音命令时，会显示语音命令的ID号。

• 二系统框图

       硬件部分。本系统由Digi-Key提供的esp32-S3 korvo-2开发版以及外接的三瓦扬声器组成。

      ESP32-S3-Korvo-2 是一款基于 ESP32-S3 芯片的多媒体开发板，搭载双麦克风阵列，支持语音识别和近/远场语音唤醒。同时它还搭载 LCD、摄像头、microSD 卡等外设，可支持基于 JPEG 的视频流处理，满足用户对低成本、低功耗、联网的音视频产品开发需求。

 

 

         软件部分。ESP-Skainet 是乐鑫推出的智能语音助手，目前支持唤醒词识别和命令词识别。

ESP-Skainet 以最便捷的方式支持基于乐鑫的 ESP32系列 芯片的唤醒词识别和命令词识别应用程序的开发。使用 ESP-Skainet，您可以轻松构建唤醒词识别和命令词识别应用程序。

ESP-Skainet 的功能支持如下所示：

输入音频

输入音频流可以来自麦克风，或Flash/TF 卡中的 wav/pcm 等音频文件文件。

唤醒词识别

唤醒词模型 

链接已隐藏，如需查看请登录或者注册

，致力于提供一个低资源消耗的的高性能模型，支持类似“Alexa”，“天猫精灵”，“小爱同学”等唤醒词的识别。目前乐鑫免费开放“Hi，乐鑫”。

语音命令词识别

命令词识别模型 

链接已隐藏，如需查看请登录或者注册

 ，致力于提供一个灵活的离线语音命词识别框架。用户可方便根据需求自定义语音命令，无需重新训练模型。

目前模型支持类似“打开空调”，“打开卧室灯”等中文命令词识别和"Turn on/off the light" 等英文命令词识别，自定义语音命令词最大个数为 200。

声学前端算法

声学前端算法

链接已隐藏，如需查看请登录或者注册

 集成了回声消除 AEC(Acoustic Echo Cancellation)，自动增益调节 AGC(automatic_gain_control)，噪声抑制 NS(Noise Suppression)，语音活动检测 VAD(Voice Activity Detection) 和麦克风阵列算法(Mic Array Speech Enhancement)。

• 三各部分功能说明
• 安装搭建软件环境 本次软件开发环境是Windows10 +esp-idf + vscode。windows10下首先安装esp-idf。因为网络问题建议使用离线安装方式。

• 下载IDF V4.4.2的离线安装包，900多M：https://dl.espressif.cn/dl/esp-idf/    选择第二个下载。

• 

   下载后运行。

 选完全安装

 下一步，安装。等待安装完成。      选择允许，然后安装配置python环境。

 配置完成后

 点击完成。会运行设置路径的命令行和power shell环境。点击是

 这时就安装好ESP-IDF软件了。然后安装vscode。Download Visual Studio Code - Mac, Linux, Windows下载支持win10

的最新版本1.72.0 双击安装。

 可以更改默认安装路径。

   勾选创建桌面快捷方式

       打开vscode在最右边一栏。选红色圈的一项。安装插件。输入esp  就可以看到   espressif-IDF点击install

 

安装重新打开，就会看到ESP图标。安装esp-idf插件时会自动安装C,C++插件。

第一次打开ESP-IDF插件会提示配置默认路径。因为已经安装了esp-idf它已经查询到esp-idf的安装路径了。

直接选下面红色一栏。点击安装即可。

 完成后如下图

 

 关闭vscode。通过桌面的ESP-IDF命令进入esp-idf安装路径

 运行cd..退到frameworks路径下。git clone --recursive https://github.com/espressif/esp-skainet.git

拉取esp-skainet包。

打开vscode 可以安装中文环境包。打开esp-skainet文件夹下的

C:\Espressif\frameworks\esp-skainet\examples\cn_speech_commands_recognition

 第一次打开会提示是否信任。选择信任。

  点击红圈设置编译参数。第一次会拉取信息。时间有点长。修改芯片为ESP32S3

  在板级中选择KORVO-2

  在下面选择唤醒词

 以及添加自己想输入的指令，注：拼音

点击保存

  

然后点击红色标记，进行编译。正常会出现下图结果。表示编译成功。

 

把扬声器接好， 连接好开发板，打开电源开关。

 这时电脑会识别开发板上的串口。进入电脑的设备管理器查看串口编号。

 在vscode中点击红色位置选择刚才看到的开发板串口编号COM4。

 修改后为COM4

  点击烧录图标进行烧录

 烧录完成后点击监控

 

 进入待机状态。这时可以用之前配置的唤醒词“hai lexin"。唤醒开发板，并下达语音命令。

    

说出不同的命令词。开发板会显示命令的信息ID号。。。。。。。其中红色部分就是我们新添加的指令ID17 ”zao shang hao早上好“

• 四作品源码    源码，安装软件，以及测试视频。链接：https://pan.baidu.com/s/1Veovh9hMcZNeUg66sP4g3w?pwd=5wug 
  提取码：5wug 
• 五作品功能演示视频
• 点击查看 >> 演示视频
• 源码，安装软件，以及测试视频。链接：https://pan.baidu.com/s/1Veovh9hMcZNeUg66sP4g3w?pwd=5wug 
  提取码：5wug 
• 或者微信扫描下面图标。

   

• 六项目总结   乐鑫的ESP32S3功能强大。官方也作出了很多的开源资料。稍微吐槽一下就是github上的有些资源下载非常的不方便。这次开发环境的搭建过程中也走了不少弯路。借着这次报告顺便完整记录一下搭建过程。
• 乐鑫的ESP-IDF软件融入VSCODE后操作更加直观了。通过这次项目基本掌握如何搭建ESP32等产品的开发环境。以及在VSCODE下如何对ESP32系列产品进行开发。希望在今后的工作中能更加深入了解开发过程。
• 最后预祝这次大赛圆满成功，祝各位小伙伴事业有成！蒸蒸日上！如果有需要交流的朋友可以添加微信plcpro  共同进步

 

发呆二极管

昨天刚买了个S3的开发板准备玩语音识别，正好可以借机学习，感谢分享教程~等开发板到手后也试一下~

wangerxian

一直找不到这个语音识别例程，感谢分享~

wangerxian

我看了一下，我的环境种没有【esp-skainet】文件夹。

plcpro

esp-skainet是要单独拉取的

HonestQiao

这个作品非常好啊！

语音交互，是现在智能家居的必备功能了。ESP32能支持这个功能，那以后用ESP32开发就更有大用了。

飞扬自我

哈哈，很有趣？不过有点换汤不换药，N年前我就能实现的功能，现在换一个平台一样的老办法去实现一次而已。