【2024 DigiKey 创意大赛】”双光融合“智能热像仪作品总结与提交

JOEYCH 发表于 2024-10-30 15:31

<div>“双光融合”智能热像仪</div>

<div>作者：JOEYCH</div>

<ol>
<li>作品简介 </li>
</ol>

<div>本项目为一款“双光融合”智能热像仪, “双光融合”指的是可见图像与热图像相融合。该设备硬件上基于高性能STM32H7微控制器，软件上基于使用micropython语言的OPENMV开源项目和“TensorFlow Lite“AI模型框架，实现了图像采集的高效率和手写数字分析的高精度。听取”秦天“大佬的建议，添加LCD触摸屏提供直观的用户交互体验，支持模式的快速切换和实时监测分析。</div>

<div>“双光融合”智能热像仪在医疗健康领域能够进行体温检测，快速判断发烧症状，在工业应用中则可以监测电路板焊接作业中的热量分布，帮助技术人员定位问题。此外，设备的便携性设计和自主充电方案，使其在移动便携使用时也能保持长时间的续航能力。</div>

<div>主要技术特点：</div>

<ul>
<li>基于高性能STM32H7微控制器控制，集成了两种类型的图像传感器：可见光摄像头OV5640和红外传感器MLX90640，用于高效准确的数据采集。</li>
<li>热成像仪基于开源框架OPENMV进行开发，利用插值算法、二值化滤波和图形融合等高级图像处理技术，以优化图像质量和分析精度。</li>
<li>利用TensorFlow Lite框架，自主训练模型，在嵌入式设备进行优化，通过神经网络算法对图像进行准确的识别。</li>
<li>设备配备了LCD触摸屏，支持在屏幕上手写数字，切换3种工作模式：图像显示、二值化处理、高温测量和热成像融合。</li>
</ul>

<ol>
<li>系统框图 
</li>
</ol>

<div>“双光融合”智能热像仪的硬件设计思路，主要包括以下几个部分：</div>

<ul>
<li>可见光传感器 OV5640：用于捕捉可见光图像。 
OV5640是一款500万像素的CMOS图像传感器，支持最高2592x1944分辨率和15fps的QSXGA图像输出。它具备自动曝光和白平衡功能，支持DVP和MIPI接口，以及JPEG图像格式输出。传感器内部集成了图像处理功能，并可通过SCCB接口进行寄存器配置。</li>
<li>热成像传感器 MLX90640：用于获取红外热成像数据。 
MLX90640是一款32x24像素的红外阵列传感器，具有0.1K RMS@1Hz的高NETD，支持1Hz至60Hz的可编程刷新率。采用3.3V供电，最大电流23mA。提供两种视场角，工作温度范围-45℃至85℃，测温范围-40℃至300℃。支持I2C接口，适用于多种温度测量和监控应用。 
</li>
<li>主控（openmv开源项目）： 
基于openmv的开源项目，总体结构上在openmv4的基础上升级为openmv4plus。硬件部分在原有开源项目基础上进行了优化，包括供电布局设计和双电源处理电路的改进，同时添加了充电功能{可以边冲边用}和电量检测功能（需要软件支持） 
</li>
<li>触摸屏（2.8寸开源方案）：</li>
</ul>

<div>显示部分基于B站up主“程双双的智能控制集”的开源方案，电路设计部分进行了简化。</div>

<div></div>

<div>软件设计主要思路为状态机切换设计，具体内容如下：</div>

<ul>
<li>切换方式：通过在触摸屏上手绘数字进行识别，切换状态。 
（该功能仅作为在单片机上运行AI的尝试 ，并不实用）</li>
<li>状态一：可见光模式：此模式下仅启用可见光传感器（OV5640），用于捕捉可见光图像。</li>
<li>状态二：二值化边缘检测模式： 
在此状态下，系统会对图像进行二值化处理，进行边缘检测，从而更好地识别目标物体的轮廓。 
</li>
<li>状态三：“双光融合“热像模式：</li>
</ul>

<div>启用双传感器（可见光和热成像）进行融合检测，用于复杂环境下的危险物体识别或监控。</div>

<div></div>

<div>三种模式下的工作参数：</div>

<table border="1">
<tbody>
<tr>
<td>图像处理功能</td>
<td>普通摄像模式</td>
<td>二值化模式</td>
<td>平滑色轮热成像图</td>
</tr>
<tr>
<td>功耗（mW）</td>
<td>1218.74</td>
<td>1243.45</td>
<td>913.53</td>
</tr>
<tr>
<td>分辨率（fps）</td>
<td>50</td>
<td>30</td>
<td>10.4</td>
</tr>
<tr>
<td>温度检测准确度</td>
<td>无</td>
<td>无</td>
<td>近距离73.6%</td>
</tr>
<tr>
<td>红外图像处理</td>
<td>无</td>
<td>无</td>
<td>存在约20%误差</td>
</tr>
</tbody>
</table>

<div>三、各部分功能说明</div>

<div>实物整体如图所示：</div>

<div></div>

<div></div>

<div>四、作品源码</div>

<div></div>

<div>software：项目软件</div>

<div>hardware: 硬件原理图</div>

<div>word：论坛帖子的草稿、图片和整个比赛项目的最终文档</div>

<div>micropython：语言教程</div>

<div>openmv_v4.2.1：固件源码</div>

<div>软件使用方式：</div>

<div>openmv插上电脑后，将software文件夹中所有文件放入openmv弹出的U盘中即可。</div>

<div>下载链接：</div>

<div><a href="https://download.eeworld.com.cn/detail/JOEYCH/634847">download.eeworld.com.cn/detail/JOEYCH/634847</a></div>

<div>五、作品功能演示视频</div>

<div><a href="https://training.eeworld.com.cn/video/41491" target="_blank">https://training.eeworld.com.cn/video/41491</a></div>

<div>六、链接汇总</div>

<div><a href="https://bbs.eeworld.com.cn/thread-1291204-1-1.html">【2024 DigiKey 创意大赛】”双光融合“智能热像仪物料开箱 - DigiKey得捷技术专区 - 电子工程世界-论坛</a></div>

<div><a href="https://bbs.eeworld.com.cn/thread-1296560-1-1.html">【2024 DigiKey 创意大赛】“双光融合”智能热像仪第一部分：可见光部分实现 - DigiKey得捷技术专区 - 电子工程世界-论坛</a></div>

<div><a href="https://bbs.eeworld.com.cn/thread-1296563-1-1.html">【2024 DigiKey 创意大赛】“双光融合”智能热像仪第二部分：热像显示 - DigiKey得捷技术专区 - 电子工程世界-论坛</a></div>

<div><a href="https://bbs.eeworld.com.cn/thread-1296566-1-1.html">【2024 DigiKey 创意大赛】”双光融合“智能热像仪第三部分：触摸屏制作/双光融合 - DigiKey得捷技术专区 - 电子工程世界-论坛</a></div>

<div><a href="https://bbs.eeworld.com.cn/thread-1296578-1-1.html">【2024 DigiKey 创意大赛】“双光融合”智能热像仪番外与说明 - DigiKey得捷技术专区 - 电子工程世界-论坛</a></div>

<div><a href="https://bbs.eeworld.com.cn/thread-1297544-1-1.html">【2024 DigiKey 创意大赛】”双光融合“智能热像仪第四部分：手写数字识别 - DigiKey得捷技术专区 - 电子工程世界-论坛</a></div>

<div>七、项目总结</div>

<div>在本项目中，我开发了一款“双光融合”智能热像仪，其核心功能是将可见光图像与热图像相融合，实现对场景的多维度检测和分析。硬件设计基于高性能的STM32H7微控制器，结合OPENMV开源平台和TensorFlow Lite AI框架，使得设备在图像采集方面具备了高效率，并在手写数字识别等应用中达到了较高的精度。此外，在“秦天”大佬的建议下，加入了LCD触摸屏，实现了直观的用户交互，使模式切换与实时监测更为便捷。这款设备在医疗健康和工业领域具有广泛应用，如体温检测和电路板热量监测等，展示了显著的实用价值。</div>

<div>然而，项目中也存在一些不足之处，比如在双光图像融合的精度和响应速度上还有进一步优化空间，此外，便携性设计虽然达标，但在极端环境下的稳定性仍有待提升。未来，我计划在算法优化和硬件适应性方面进行更深入的改进。</div>

<div>在此项目中，我们深深感谢得捷电子（Digi-Key）和EEworld电子工程世界论坛为我们提供的支持和平台。正是他们的支持，让我能够接触到前沿的技术资源、交流学习的机会，并将创意付诸实践。此外，感谢广大网友对项目的关注与建议，他们的反馈为项目的优化和改进提供了宝贵的参考。在整个过程中，得捷电子、EEworld论坛的支持与广大网友的鼓励都给予了我巨大的动力，让我在研发过程中不断挑战自我、追求卓越。</div>

<div> </div>

wangerxian 发表于 2024-10-30 17:45

双光融合模式帧率就很低了吧。毕竟要采集两个传感器的图像。

JOEYCH 发表于 2024-11-1 20:20

wangerxian 发表于 2024-10-30 17:45
双光融合模式帧率就很低了吧。毕竟要采集两个传感器的图像。

每秒十帧，手持测量看看板子发热情况感觉还可以。代码还有优化空间<img height="28" src="https://bbs.eeworld.com.cn/static/editor/plugins/hkemoji/sticker/facebook/face-with-monocle_1f9d0.png" width="28" />

wangerxian 发表于 2024-11-2 10:48

JOEYCH 发表于 2024-11-1 20:20
每秒十帧，手持测量看看板子发热情况感觉还可以。代码还有优化空间

那还可以的，这个帧率完全够用了。

JOEYCH 发表于 2024-11-3 10:25

wangerxian 发表于 2024-11-2 10:48
那还可以的，这个帧率完全够用了。

不写模式切换什么的，还可以快不少

JOEYCH 发表于 2024-11-22 12:42

作品功能演示视频链接：https://training.eeworld.com.cn/course/68750

页: [1]

电子工程世界-论坛's Archiver

【2024 DigiKey 创意大赛】”双光融合“智能热像仪 作品总结与提交

【2024 DigiKey 创意大赛】”双光融合“智能热像仪作品总结与提交