加入了学习《 【2024 DigiKey 创意大赛】智能聊天机器人》，观看 智能聊天机器人

加入了学习《得捷电子创新大赛_智能桌面互动机器人》，观看 得捷创新设计大赛_智能桌面互动机器人

回复了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人

wangerxian 发表于 2024-10-23 17:38 树莓派播放声音可以调大一些哦~。 这个我记得是用的50的声音，之前用百分百太大，所以专门调小了  

上传了资料： 【2024 DigiKey 创意大赛】智能聊天机器人

回复了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人

wangerxian 发表于 2024-10-23 16:50 有用什么GUI框架吗? 只是简单的显示图片

发表了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人

本帖最后由 4284248 于 2024-10-23 21:05 编辑 智能聊天机器人 作者：4284248 作品简介 机器人可以实现语音聊天，通过按钮开始和结束对话，机器人就会语音播放回答。可以识别人脸、声源方向，自动旋转到面朝用户的方向。通过esp-now可以发送相关信息到esp32-c6处，并且通过屏幕显示出来。 使用到NUCLEO-F411、ESP32-C6、MSM261S4030H0麦克风板、树莓派5、无刷电机等 系统框图 设计思路 设计的核心主要是用多种传感器可以完成与机器人进行互动。以交互为目的，系统可以完成与用户的交互活动。通过合理的软件设计，让机器人可以感知环境，完成互动。 本系统采用模块化设计，各部分完成自己独立的部分，遇到问题，也可以更好的进行问题定位。 系统框图 上面的屏幕是后面有一个STM32专门去控制。树莓派和STM32F411就放在机器人的后面。电机是放在语音识别板的上方。 三、各部分功能说明 语音交互 利用树莓派5配合USB录音器和蓝牙音箱实现语音交互。首先通过按钮的按下为开关，按下就开始录音，录制10s的声音，然后通过语音识别的api,识别成文字，文字再发送到Chatgpt的api接口，获得回复的文字，最后再把文字发送到语音生成的api，最后生成pcm格式的语音文件，再通过蓝牙音箱播放出来。 人脸识别 利用树莓派5搭配USB摄像头，运行opencv，加载预训练的Haar级联模型。实现人脸识别，并输出对应的坐标。通过串口把对应的位置数据，发送给STM32端，控制电机完成方向的定位。 无刷电机控制 无刷电机使用LIN协议控制，我们需要一个模块通过uart转lin，STM32通过uart发送对应的命令给电机，电机就可以按照指定方向进行转动。电源部分用的是24V电池进行供电。 声源定位 使用Sipeed家的K210 BIT开发板，通过杜邦线连接传感器的引脚，在k210里面运行解算声源模块数据的代码，解算后，进行滤波，通过过滤掉一些杂音等干扰因素，最终得到正确的声源方向和大小。然后通过串口的方式，把解算出来的角度发送给STM32。 ESP远程显示部分 使用espnow进行通信，在STM32边外挂一个esp32，通过串口发送数据到esp32中，esp32再通过esp-now的方式发送到远处的esp32中，使用串口屏，写好双方串口通信的协议，然后就可以在远处显示出具体的数据。 四、作品源码 https://download.eeworld.com.cn/detail/4284248/634607 五、作品功能演示视频     六、项目总结 通过这次活动，学到了很多，树莓派的图像识别，声源的定位，电机的控制，以及esp32-now的通信部分 最后，感谢电子工程世界与得捷电子联合举办的【2024 DigiKey 创意大赛】活动，非常荣幸第一次参与这个活动。本次活动使我学到了不少的新知识，在项目过程中也遇到不少困难，最终实现的成品虽然有些潦草，但好在最终实现了相应的功能。祝愿 EEWorld 越办越好!    

上传了资料： 【2024 DigiKey 创意大赛】智能聊天机器人源码

加入了学习《得捷电子专区》，观看 【2024 DigiKey 创意大赛】红外温度检测及火灾报警器

加入了学习《Follow me 第二季第2期汇总的视频》，观看 Follow me 第二季第2期汇总的视频

回复了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人

wangerxian 发表于 2024-10-23 09:06 屏幕是用单片机驱动的吗？ 是

回复了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人

wangerxian 发表于 2024-10-21 15:22 前面那个屏幕是个眼睛吗？ 嗯，为了方便看机器人会声源定位跟随方向，会人脸识别，跟随方向。所以专门弄了个屏幕来显示

回复了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人

秦天qintian0303 发表于 2024-10-22 09:09 交互语音需要机器学习吗？是固定的语句还是智能识别 不用学习，智能识别，我是把录音录制好，然后发api去识别，然后发chatgpt,然后再把回复语音合成

发表了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人

目前先汇报下项目状况 1.完成声源定位 2.完成基于树莓派5的人脸识别 3.完成基于树莓派5的语音识别，对接chatgpt,语音合成 4.完成STM32控制无刷电机 5.完成STM32和树莓派5和声源定位部分的通信 这篇演示下语音交互部分 主要利用树莓派5配合USB录音器和蓝牙音箱实现语音交互。首先通过按钮的按下为开关，按下就开始录音，录制10s的声音，然后通过语音识别的api,识别成文字，文字再发送到Chatgpt的api接口，获得回复的文字，最后再把文字发送到语音生成的api，最后生成pcm格式的语音文件，再通过蓝牙音箱播放出来。   [localvideo]6fa4767feec3d0293c3483be086e48ae[/localvideo]  

回复了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人 物料开箱

wangerxian 发表于 2024-9-27 15:42 我计划一些功能在本地电脑，一部分用API 我是准备先大概做一版，就全api，后面再尝试一些功能到本地电脑

回复了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人 物料开箱

wangerxian 发表于 2024-9-26 09:02 智能聊天机器人是要接入大模型，语音识别和语音合成吧。 对，准备接入gpt4做文字问答，语音识别和合成，为了尽快完成，准备直接用讯飞的api做

发表了主题帖： 【2024 DigiKey 创意大赛】智能聊天机器人 物料开箱

本帖最后由 4284248 于 2024-9-25 19:49 编辑 感谢EE World 感谢得捷，让我有一次参加活动的机会。 第一次用访客模式下单，通过ups快递信息，看到快递离自己越来越近了，就在今天拿到手了 包装都是十分给力，对板子保护很好。 树莓派还是一如既往的颜值出众 Esp32-c6 STM32-F411