635|1

43

帖子

2

TA的资源

一粒金砂(高级)

《深度学习与医学图像处理》阅读分享四——关键点检测 [复制链接]

本帖最后由 Zhao_kar 于 2024-5-7 22:58 编辑

《深度学习与医学图像处理》阅读分享四——关键点检测

本节主讲关键点检测的模型

一、概念

关键点检测是计算机视觉领域的一种技术,用于在图像或视频中定位和识别特定对象或特征的位置。这些对象或特征可以是人脸、人体关节点、车辆、物体等等。关键点通常是图像中的特定位置,比如人脸关键点可能包括眼睛、鼻子、嘴巴等部位的位置。

关键点检测的目标是确定这些关键点在图像中的精确位置。它可以应用于许多应用场景,如人脸识别、姿态估计、手势识别、行人检测等。在人工智能和机器学习的帮助下,现代关键点检测算法能够在不同的环境和复杂的场景中准确地检测和定位这些关键点。

二、坐标关键点检测和热图关键点检测

1、坐标关键点检测

  • 特点:在坐标关键点检测中,通常直接输出每个关键点的准确坐标。这意味着检测器会返回一系列点的(x, y)坐标,表示图像中每个关键点的位置。
  • 区别:相较于热图关键点检测,这种方法更加直接,输出结果更易理解。然而,它也需要更多的训练数据和更复杂的模型来学习关键点的准确位置。

2、热图关键点检测

  • 特点:热图关键点检测输出的是关键点位置的概率分布热图。这意味着对于每个关键点,检测器会生成一个与输入图像尺寸相同的热图,其中每个像素的值表示该像素处是关键点的概率。
  • 区别:相对于坐标关键点检测,热图关键点检测更加灵活,因为它可以处理不同尺寸的输入图像,并且可以检测到关键点的模糊位置。此外,热图关键点检测还可以利用一些后处理技术来提高关键点检测的准确性。

综上,热图关键点模型效果更优,下面介绍几种基于热图的关键点模型

 

三、CPM

CPM指的是Convolutional Pose Machine(卷积姿势机器)。CPM是一种基于深度学习的方法,用于姿势估计和关键点检测。

CPM模型通常由多个卷积神经网络(CNN)阶段组成,每个阶段都负责在不同尺度上生成热图。第一个阶段处理输入图像,并生成初始热图,然后通过级联的阶段逐渐提高热图的分辨率和准确性。其中一个关键特点是通过级联的阶段来逐步提高姿势估计的精度。每个阶段都可以在之前阶段的输出基础上进行训练,使得模型能够逐渐细化关键点位置的估计。这种级联结构使得CPM在处理复杂姿势和场景时表现出色。

这里以书中给的图例为简单描述:一阶段中,图像先经过七个卷积层,三个池化层进行特征提取,P为关键点个数,然后在2阶段下,有两个输入,一个是第一阶段的特征输出,一个是原图像的特征提取,然后再通过五个卷积层进行融合和提取详见下图

8352F0F45C8D53778B6E45A7B909F17A.jpg

四、stack hourglass

Stacked Hourglass是一种基于卷积神经网络(CNN)的姿势估计方法,它采用了Hourglass网络结构的堆叠。每个Hourglass模块由对称的上采样和下采样层构成,有助于捕捉不同尺度的特征并提高姿势估计的准确性。通过堆叠多个Hourglass模块,Stacked Hourglass能够逐步细化关键点位置的估计,取得优异的姿势检测效果。

首先主要包括四个部分:下采样模块、沙漏模块、中间监督模块、关键点热力图  

9206BE8D070D628B9290E3B187748B3D.jpg  

分别进行如下操作:降低图像分辨率,堆叠沙漏模块+引入中间监督模块,使得各个沙漏模块的输出均参与最终的损失计算,再利用计划函数将最后一个沙漏模块的输出结果转换为类别的概率值,生成关键点热力图。

补充(各个模块):

  • 下采样模块是指在神经网络中的一种结构,用于将输入特征图的空间分辨率降低,同时增加特征图的通道数。这有助于提取更高级别的语义信息并减少计算量。通常通过池化层或者卷积层来实现。
  • 沙漏模块是指沿着网络中间有多层的网络模块,形象地类似于一个沙漏,中间部分较窄,两边较宽。这种模块的设计目的是通过逐层的上采样和下采样来实现多尺度特征的融合,从而提高对目标的定位精度。
  • 中间监督模块是指在网络的中间层添加监督信号,用于在训练过程中引导网络学习更好的特征表示。这种模块的存在有助于减轻梯度消失问题,并且可以加速训练过程。在姿势估计等任务中,中间监督模块通常用于在沙漏模块的不同层次上进行关键点位置的预测和监督。
此帖出自医疗电子论坛

最新回复

有点专业了,比如什么是初始热图   详情 回复 发表于 2024-5-8 07:33

回复
举报

6042

帖子

0

TA的资源

五彩晶圆(高级)

有点专业了,比如什么是初始热图

此帖出自医疗电子论坛

回复
您需要登录后才可以回帖 登录 | 注册

猜你喜欢
随便看看
查找数据手册?

EEWorld Datasheet 技术支持

相关文章 更多>>
推荐帖子
DIY一个MSP430的BSL下载方式编程器

533765337553374

eZ430学习笔记之三在labVIEW下使用

以下使用NI-VISA与USB设备eZ430-RF2500进行通信,是在使用LabVIEW2010和NI-VISA503full的开发环境通过的。 1、USB与VISA背景 V ...

NXP ARM自动波特率的实现

随着应用的需要,自动波特率已经不是什么新奇的概念了。在以前要实现自动波特率,一般都会用个定时器来计算数据长度,从 ...

「ADI模拟大学堂」差分放大器以及相关设计软件的基础知识(2014.3.9)

143750「ADI模拟大学堂」差分放大器以及相关设计软件的基础知识(2014.3.9) (每日一份资料) 「ADI模拟大学堂」每天更新一份资 ...

【R7F0C809】硬件SPI刷OLED

本帖最后由 强仔00001 于 2015-9-10 17:02 编辑 bg3.png 上次弄完了系统时钟部分,今天就像弄个OLED上去来显示一些数据。 ...

很神秘的EMC,它是怎么来的

说起开关电源的难点问题,PCB布板问题不算很大难点,但若是要布出一个精良PCB板一定是开关电源的难点之一(PCB设计不好,可能 ...

免费测评:极海M3内核性能最高产品,APM32E103VET6S MINI开发板来了

型号:APM32E103VET6S MINI 来自:珠海极海半导体有限公司 数量:5 看到“IAR已全面支持极海APM32系列MCU&rdq ...

ESP32-C6都出开发板了C5哪去了?

之前一直关注着ESP32-C5的2.4GHz和5GHz双频WiFi,而现在ESP32-C6已经有开发板了,ESP32-C5还没量产? 大家有小道消息吗?

为什么同样是 220V/12V的变压器,标注的功率却分 3W 5W 10W 20W 等型号

为什么同样是 220V/12V的变压器,标注的功率却分 3W 5W 10W 20W 等型号, 1、这些多少多少W 是它能提供的功率上限吗? ...

嵌入式硬件系统接口电路设计

《嵌入式硬件系统接口电路设计》详细介绍了嵌入式硬件系统及其接口电路应用技术,重点讲解了嵌入式系统开发基础、键盘接口电路设 ...

关闭
站长推荐上一条 1/10 下一条

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 国产芯 安防电子 汽车电子 手机便携 工业控制 家用电子 医疗电子 测试测量 网络通信 物联网

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved
快速回复 返回顶部 返回列表