[基于ESP32S3的语音及视觉模块] 项目提交

IC爬虫 · 发表于2022-10-16 17:04

[基于ESP32S3的语音及视觉模块] 项目提交 [复制链接]

<i class="pstatus"> 本帖最后由 IC爬虫 于 2022-10-23 09:44 编辑 </i>

# 基于ESP32S3的语音及视觉模块

## 一、作品简介
使用ESP32S3 开发一个具有语音识别，又具有视觉识别功能的通用模块，主要用于教育、科创比赛、DIY爱好者创意设计。接口和功能兼容[OpenMV](https://github.com/openmv/openmv)，并且可以使用其的IDE作为开发调试软件。整体硬件设计大部分兼容ESP32S-EYE,所以稍作接口定义的调整就可以兼容[ESP-WHO](https://github.com/espressif/esp-who),ESP-WHO 提供了例如人脸检测、人脸识别、猫脸检测和手势识别等示例,从而让本模块非常具有可玩性。
### 专门为此项目设计的LOGO

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648214" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648214&handlekey=savephoto_648214">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 二、系统框图

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_648228_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>ESP32-OPENMV系统框图.jpg</strong> <em class="xg1">(72.9 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648228" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648228&handlekey=savephoto_648228">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 三、各部分功能说明
### 1、模块集成的接口和功能

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_648255_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>接口和板载功能.jpg</strong> <em class="xg1">(146.37 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648255" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648255&handlekey=savephoto_648255">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

ESP32OpenMV 这个模块的接口参考了openmv V4，除了板子左右两边8pin 的电源和IO扩张接口。这个项目所使用的是ESP32S3 WROOOM-1 R8N8，集成了8MB 的flash和8MB的PSRAM，大内存是为了图形计算时所必须的。
#### 两者的对比图如下：
##### 正视图

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648215" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648215&handlekey=savephoto_648215">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

#####背面试图

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648211" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648211&handlekey=savephoto_648211">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

##### 硬件版本迭代

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648217" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648217&handlekey=savephoto_648217">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

##### 焊接对照

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_648229_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>焊接对照bom.jpg</strong> <em class="xg1">(268.91 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648229" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648229&handlekey=savephoto_648229">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

##### 最终版效果

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648206" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648206&handlekey=savephoto_648206">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648207" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648207&handlekey=savephoto_648207">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648208" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648208&handlekey=savephoto_648208">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648209" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648209&handlekey=savephoto_648209">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648205" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648205&handlekey=savephoto_648205">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648210" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648210&handlekey=savephoto_648210">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 2、原理图

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648230" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648230&handlekey=savephoto_648230">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

* 指示灯设计,这个指示灯的设计参考了ESP32S EYE的设计，非常的巧妙，用一个灯既可以作为上电所用的指示灯，又可以作为能被IO控制的的LED，用于LED控制测试。
 
<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648231" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648231&handlekey=savephoto_648231">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

* 受限于板子的尺寸，放不下两个USB 接口，所有又用了一个巧妙设计-使用一个Type-C的正反接实现串口转USB烧写于全速USB通信功能切换。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648216" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648216&handlekey=savephoto_648216">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 3、布线图

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_648213_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>ESP32-S3-doubleUSB_01.png</strong> <em class="xg1">(228.52 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648213" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648213&handlekey=savephoto_648213">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 4、引脚分配

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648232" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648232&handlekey=savephoto_648232">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 5、camera初始化过程
ESP32OpenMV 的camera初始化部分使用的esp32-camera 项目，这个项目实现了一个能兼容多种sensor 的框架，除了能兼容OV2640也支持和提供了很多其他种的sensor，通过分析整个框架这部分有参考openmv这个项目中的关于camera sensor型号的识别的思想。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_648233_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>camera初始化过程.jpg</strong> <em class="xg1">(233.94 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_648233" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=648233&handlekey=savephoto_648233">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

## 四、作品源码
### 1、硬件源文件

<ignore_js_op>

<a href="javascript:;" class="loginf">ESP32-S3-OpenMV-AD.zip</a>

<em class="xg1">(79.94 KB, 下载次数: 31)</em>
</span>
<div class="tip tip_4" id="attach_648234_menu" style="position: absolute; display: none" disautofocus="true">
<div class="tip_c xs0">
<div class="y">2022-10-16 16:22 上传</div>
点击文件名下载附件

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 2、软件工程
整个代码工程压缩后也有160MB，所以上传到网盘：
链接：https://pan.baidu.com/s/1D23faWpcstwdZmTPTDm8ZA 
提取码：p509
## 五、作品功能演示视频
ESP32OpenMV 已经支持了大部分的Openmv 的算子，在一下视频中着重演示了使用RGB565与JPEG两种图像格式预览视频的流畅度对比，测试edge边缘检测算法、line直线检测算法、Circles找圆算法、QR二维码检测、人脸检测算法等的实测效果。
<iframe src="//player.bilibili.com/player.html?aid=944224824&bvid=BV1JW4y1n7gA&cid=863410437&page=1" width=500 height=300 scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"></iframe>
## 六、项目总结
ESP32OpenMV 这个项目使用ESP32S3 双核处理器，选用的是N8R8版本模块，外扩了足够大的pram，解决了很多单片机受限于小ram，而无法处理器大尺寸图像和复杂算法的问题。这个项目跑通了大部的openmv算法，但是受限于这个单片机上没有集成mjpeg编码器，造成需要将图像发送到PC IDE上预览时需要使用纯软件的方式去将图像编码成jpeg格式，这个操作耗费了大量的时间，例如：VGA（640*480）的jpeg编码耗时600+ms,QVGA(320*240)的jpeg编码也需要好事200ms左右，这部分还有非常大的改进空间。目前这个项目USB 创建MSC设备类用于生成U盘的功能尚未完成开发，使用的开发工具有openmvIDE和Thonny。另外此模块的MEMS 麦克封的尚未开始调试，不过这部分参考了ESP32S EYE 的麦克风电路，是可以直接兼容ESP-WHO等项目的。
要做和改进的还很多，奈何分身乏术！！
会开源所用设计文件和代码，希望能给感兴趣的朋友一点参考！
### 分享链接：
* [ESPcam 测试一下二维码识别](https://bbs.eeworld.com.cn/thread-1207482-1-1.html)
* [物料开箱—ESP32S3 BOX](https://bbs.eeworld.com.cn/thread-1208704-1-1.html)
* [第一版原理图及电路设计](https://bbs.eeworld.com.cn/thread-1209331-1-1.html)
* [硬件设计及调试及进展-1](https://bbs.eeworld.com.cn/thread-1210836-1-1.html)
* [硬件设计及调试及进展-串口电路-2 ](https://bbs.eeworld.com.cn/thread-1211608-1-1.html)
* [软件开发进展-使用openmvIDE 点个灯](https://bbs.eeworld.com.cn/thread-1212215-1-1.html)
* [软件开发进展-使用openmvIDE 终于可以传图了](https://bbs.eeworld.com.cn/thread-1212779-1-1.html)
* [硬件设计及调试及进展-经过4个版本的迭代硬件设计完成](https://bbs.eeworld.com.cn/thread-1213579-1-1.html)
* [软件开发进展-模块camera初始化过程](https://bbs.eeworld.com.cn/thread-1213604-1-1.html)
* [软件开发进展-使用web获取相机图片和视频流](https://bbs.eeworld.com.cn/thread-1216912-1-1.html)
* [软件开发进展-ESP32S3 JPEG 编码性能测试 ](https://bbs.eeworld.com.cn/thread-1219806-1-1.html)
## 七、其他
### TODO:
* 优化MPJEG 编码性能
* 实现USB MSC类功能创建，实现U盘更新执行代码功能
* 优化camera 的图像效果，目前图像还有条纹噪声
* ……
### 参考：
* [esp-who](https://github.com/espressif/esp-who/blob/master/README_CN.md)
* [M5Camera_OpenMV](https://github.com/tenpa1105/M5Camera_OpenMV/tree/main/firmware)
* [ESP32CAM_OPENMV](https://github.com/androidalekra/ESP32CAM_OPENMV)
* [esp32_mpy](https://github.com/1847123212/esp32_mpy)
* [esp32s3_openmv_lvgl](https://github.com/Kevincoooool/esp32s3_openmv_lvgl)

## 文档

<ignore_js_op>

<a href="javascript:;" class="loginf">ESP32OpenMV.doc</a>

<em class="xg1">(645 KB, 下载次数: 10)</em>
</span>
<div class="tip tip_4" id="attach_650504_menu" style="position: absolute; display: none" disautofocus="true">
<div class="tip_c xs0">
<div class="y">2022-10-23 09:43 上传</div>
点击文件名下载附件

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

lugl4313820 · 发表于2022-10-16 22:05

恭喜完成作业！

IC爬虫 · 发表于2022-12-29 20:55

实在抱歉，PCB文件放成了PCB工程文件

重新上传：

ESP32-S3-OpenMV-AD.zip (4.08 MB, 下载次数: 14)

IC爬虫 · 发表于2022-12-29 21:11

之前的源码网盘链接失效了：

请下载这个：链接: https://pan.baidu.com/s/129qbk939vJX-vA3aeGAzrw 提取码: 9wr5

popsonic

IC爬虫发表于 2022-12-29 21:11 之前的源码网盘链接失效了：请下载这个：链接: https://pan.baidu.com/s/129qbk939vJX-vA3aeGAzrw 提取 ...

又过期了，大佬能再分享一下吗？

[基于ESP32S3的语音及视觉模块] 项目提交 [复制链接]

最新回复

浏览过的版块