这个抓药麒麟臂蛮有意思

okhxyyo

这个抓药麒麟臂蛮有意思 [复制链接]

 

作品大名：抓药机械臂

搬过来的介绍：

具身智能抓药机械臂，基于大语言模型、智能体Agent、多模态视觉语言大模型，实现多轮对话、场景理解、动作编排、开放域药品识别、根据患者描述症状推荐药品、医学常识问答、情感陪伴、机械臂抓取和放置。
开源代码：

链接已隐藏，如需查看请登录或者注册

作者：同济子豪兄、华中科技大学TAI团队章航滔

机械臂：大象机器人六自由度协作机械臂Mycobot 280 Pi
开发环境：树莓派4B、Ubuntu 20.04
语音识别：百度AppBuilder-SDK短语音识别（极速版）
语音合成：百度AppBuilder-SDK短文本在线合成（PaddleSpeech-TTS）
大语言模型：零一万物Yi-Large、Claude 3、百度ERNIE 4.0 Turbo
多模态视觉语言大模型：GPT4o、零一万物Yi-Vision、Claude 3 Opus、阿里Qwen-VL、智谱CogVLM2、InternVL

 

 

秦天qintian0303

我以为抓的是中药呢，还能识别是什么中药，差点意思，不过也相当不错了

wangerxian

视觉语言识别，应该就是识别视频中的药物名称吧。

wangerxian

秦天qintian0303 发表于 2024-8-22 08:49 我以为抓的是中药呢，还能识别是什么中药，差点意思，不过也相当不错了

抓中药感觉难度有点大，毕竟中药形状各异，机器手不一定适用，哈哈。

秦天qintian0303

wangerxian 发表于 2024-8-22 09:06 抓中药感觉难度有点大，毕竟中药形状各异，机器手不一定适用，哈哈。

抓取不一定只用五爪抓，也可以铲，取得方式有很多种，抓西药说实话和老祖宗没什么关系

okhxyyo

秦天qintian0303 发表于 2024-8-22 09:08 抓取不一定只用五爪抓，也可以铲，取得方式有很多种，抓西药说实话和老祖宗没什么关系

标题党嘛，比如我一开始就是因为老祖宗这话进去看的

hellokitty_bean

还差蛮多意思的。。。

使用了语音识别，然后是图像识别，也就是拍了下面盒装药物的照片，和语音识别到的文字一致，就抓取了。

 

这个和上海大超市里，拿菜放秤上，自动识别价格类似。

hellokitty_bean

如果所有的药物都放在药柜里，这个机械臂自己能找到患者说的药，就厉害了

freebsder

这视频编的有点意思

wangerxian

秦天qintian0303 发表于 2024-8-22 09:08 抓取不一定只用五爪抓，也可以铲，取得方式有很多种，抓西药说实话和老祖宗没什么关系

不管是铲还是啥，感觉难度都有点大，现在机械手能抓取小东西已经很厉害了~

吾妻思萌

厉害呀，这个一看就是高手