直播日期:2019年1月17日
直播主题:高性能 i.MX RT 处理器助力智能节点无需联网实现机器学习
直播回放:点击观看
直播PPT:
P0-P8高性能i.MXRT处理器助力智能节点无需联网实现机器学习-i.MXRTOverview.pdf
(788.24 KB, 下载次数: 7)
P9-P32高性能i.MXRT处理器助力智能节点无需联网实现机器学习-AI应用.pdf
(1.07 MB, 下载次数: 7)
问答精选:
1、今天的topic主要是MX几系列
A、主要是RT1050/1060
2、i.mx1052可以用在机器视觉上吗?
A、可以的,一会儿我的同事会讲到,我们已经有了实现,叫做openmv
3、后面有机器学习的演示吧?
A、应该是以ppt的形式展示,可能会有视频
4、我有一块i.mx1052官方开发板,一直没用起来,不知道从哪里着手?感觉金额以前M4核的开发板有很多不同,能提供一点建议吗?我想用i.mx1060来做下一代产品。
A、您可以下载官网上的sdk,从简单的demo着手
5、无需联网估计是不可能得吧
A、离线inference的o,不需要联网就可以跑模型
6、百度的语音系统dueros能上啊?百度硬件有一块好像也是I.MX构架的???
A、那个可能是imx 6+,是mpu,我们今天主要说的是mcu系列
7、i.MX RT系列处理器,1052算是这个系列的吗。
A、是的,rt系列有好多明星产品,您可以从官网上找到
8、今天讲的i.MX RT是MCU系列还是MPU
A、mcu
9、RT1050/1060会出TQFP封装,BGA普通测试不方便
A、RT1020有QFP封装。RT1050/60后面会有0.8间距的BGA,PCB更容易制作了
10、那就是 基本用它来作为 智能节点用与智能语音系统对接??
A、您可以这样讲,主要是做本地端的AI
11、有像STM32那样有CubeMX的工具可以快速上手吗?
A、正在制作模型转换工具,对接到高性能的CMSIS-NN,会在模型转换性能上更好
12、目前RT系列中最强悍的应该就是RT1052了吧。
A、还有更大片上ram的1060
13、机器自主学习吗?
A、是在计算机上先训练好模型然后部署到MCU
14、模型如何压缩,下载到i.MX RT 处理器?
A、比较通用的办法是用uint8去量化float进行模型压缩
15、对于新手友好度怎么样,容易上手吗?
A、非常容易上手的,有非常好的SDK
16、这里说的机器学习主要是指推理部分吧?机器学习训练应该不能在i.MX上做吧?
A、是的,您说的对,训练是在pc上
17、rt系列的主要特点是什么?
A、性价比高
18、目前有提供一个设计工具吗?
A、已经有内部初步可用的转换工具
19、本次直播题目很唬人,智能节点无需联网实现机器 学习,看看到底是个啥 ^_^
A、就是MCU自己运行机器学习模型,不依赖云服务器
20、i.MX RT 跨界处理器支持机器学习都包括哪些方面的应用
A、目前以基于神经网络的应用为主,可用于深度学习,也可用于结构化数据,比如传感器数据的机器学习应用,比如姿势检测,探伤等
21、iMX提供库来做float模型量化到uint8的转化吗?还是说要靠tf,pytorch这些库做好了量化再传给iMX?
A、量化是离线实现的
22、RT系列在智能节点上有哪些优势?
A、高性能,低成本,高集成度,低功耗
23、机器学习的模型是在哪里的?
A、一般是自己训练的
24、建模也是自己建?
A、也可以使用已经训练好的模型,率先支持keras模型
25、e络盟和NXP的关系如何?
A、e络盟是全球领先的电子元器件分销商,授权分销全球3500多家知名品牌电子元器件产品,同时也是NXP产品的全球指定分销商。
26、.MX RT 跨界处理器支持机器学习都包括哪些方面的应用
A、主要是基于神经网络的建模方式,可用于图像分类,语音关键字检测,传感器数据模式识别,异常检测等很多方面
27、高性能 i.MX RT 处理器可以支持的编译环境和工具有哪些?
A、keil,iar,gcc
28、高性能 i.MX RT 处理器可以支持的编译环境和工具有哪些?
A、mcuxpresso
29、RT是不是跨界处理器
A、是的
30、i.mx1052主推在什么产品上使用比较多?
A、它是个多才多艺的MCU类跨界处理器,可用在很多产品上
31、i.MX RT基础内核是什么?
A、cortex m7
32、RT系列兼容哪些通信协议?
A、几乎所有通过I2c, SPI, USB, 以太网,UART实现的协议都可以实现。RT上几乎不用担心flash不够用的情况,RAM也非常大
33、看来要对AI建模需要一定基础知识
A、也可以使用已经训练好的模型,我们后面会发布一些例子。并且会提供模型部署工具
34、是基于什么内核的?主频多少?
A、cortex m7/600
35、目前都有哪些封装?
A、BGA 196 LQFP100/144
36、RT系列1064支持几路COMS接口,是否有支持MIPI与DVP接口?
A、原生一路CSI, 还可用FlexIO再模拟一路CSI。不支持MIPI
37、RT系列的引脚兼容吗?
A、相同封装的向下兼容
38、RT1052有硬的音频解码吗?
A、有的,支持H.264。
39、MX RT 跨界处理器支持机器学习是否可以用于舞台控制方面?可兼容的通讯方式都有哪些??
A、当然可以的。硬件通过RT支持的通信接口实现的都可以
40、请问如何联系e络盟进行采购?
A、各位线上的观众朋友可以通过登录我们的中文网站:cn.element14.com,或拨打我们的客服热线:400 820 5857,直接联系我们的销售及客服人员订购恩智浦以及其他电子元器件产品。
41、在处理图像 语音有什么优势
A、性能高,并且有像素处理的PXP外设。
42、有几个以太网接口?
A、1050有一个,1060有二个
43、有配套的RTOS和GUI吗?
A、AI这块暂时还没有加入GUI和RTOS的支持
44、有配套的RTOS和GUI吗?
A、其实AI部分体现成一个普通的软件模块,完全可以集成到使用了RTOS和GUI的工程中。
45、有配套的RTOS和GUI吗?
A、RT的网站上有GUI及RTOS相关资料。
www.nxp.com/imxrt
46、I.MA.RX处理器支持什么协议?
A、只要是使用RT支持的通信接口的协议,几乎都能实现,flash容量可以外扩到几十MB
47、mx系列soc主要是面向什么市场细分的
A、可以用在很多市场,这是个综合性很强的芯片
48、深度模型的准确率是不是很大程度取决于数据集
A、数据集和模型
49、具体再AI方面有哪些支持。
A、目前主要是支持基于神经网络的AI模型
50、imx RT 系列适合用的做MIC阵列吗?
A、RT600系列比较适合
51、智能语音方面有何特色
A、实时性高,和第3方合作也会有更加精确的识别率
52、模型不是基于数据集训练出来的吗
A、这里的模型指的是模型结构
53、面前机器视觉有几大平台,FPGA,GPU,ASIC,能指出各自的优势和不足吗?NXP在这个领域有什么规划?
A、NXP主要面向低成本的边缘智能,主要通过CPU, GPU来实现。
54、NXP是否计划做一下RT1052系列的核心板给工程使用。通过各种渠道去购买。
A、目前主要是第3方制作的核心板,比如野火的核心板
55、我有块1052,现在想让它实现简单语音识别,需要准备些什么呢?
A、主要是要部署相应的AI模型,RT上可以实现语音关键字检测。如果要识别成文字,还需要云端
56、机器自主学习?学习什么?是规定的动作还是什么?
A、是在计算机上训练好机器学习的神经网络模型,然后部署到MCU上
57、iMX是对uint8做了计算优化,还是对浮点做了计算优化?
A、确切的说是用uint8去量化float,以减小模型尺寸
58、可能是我没有表达清楚,预先训练模型下载到MCU,那么机器会不会在这之后进行主动学习?
A、目前还没有
59、rt系列,我看了些资料介绍,主频到600了,这个基本上到mpu的水平了,主打什么应用场合呢
A、不需要被高频率吓到,这是个综合性很强的芯片,可以用于很多领域
60、rt系列,我看了些资料介绍,主频到600了,这个基本上到mpu的水平了,主打什么应用场合呢
A、RT系列跨界处理器的目标就是提供MPU的性能,MCU的价格。
61、RT处理器的算法处理能力如何?我司的定位系统对算法处理这块要求比较高
A、理论值1.2GOPS的int16乘加性能。CoreMark 3030
62、目前有相关的demo工具吗,模型训练兼容哪些框架呢?
A、caffe,keras,tensorflow
63、恩智浦 i.MX RT 跨界处理器可以超频运行吗?是什么操作系统?
A、超频运行可能会出现不符合datasheet工作范围内保证的稳定性。可以使用几乎所有RTOS,比如freertos, rt-thread等
64、i.MX RT处理器 在摄像头采集图像上有没有封装好的历程?
A、有的,我们的sdk提供了摄像头采集以及lcd屏显的例程
65、openMV RT可实现面部识别么?
A、可以实现人脸识别
66、RT1020 最大主频是多少?与1050相比,主要有哪些不同呢?
A、主要不同:1. RT1020提供LQFP封装;2. RT1020上没有LCD接口和摄像头接口;3. 别的feature也有些区别;相对于RT1050,RT1020提供了更低价格。
67、i.MX RT 系列芯片中断延迟高不高?
A、可低至20ns
68、可以识别出不同的猫?CFAR-10
A、不可以,只能识别猫
69、可以识别出不同的猫?CFAR-10
A、这个cifar10的模型,其他的高级模型是支持的
70、机械学习是使用的哪个库
A、PC上主要是keras, tensorflow, caffe训练。MCU上是CMSIS-NN。通过一个工具生成调用CMSIS-NN的代码
71、机器学习计算功耗会不会很高?
A、不会,它几乎是纯计算的,RT的M7内核功耗很低
72、模型的结构可以自己设置吗
A、可以的
73、openmv 是iMX推荐的应用库?
A、可以通过OpenMV的RT移植评估RT的性能
74、机器学习 如何搭建 夜间识别汽车车牌模型
A、需要红外感光,剩下的就可以重用基于图像的分类了
75、可以用于哪些领域机器学习?
A、视频,音频,控制算法,传感器融合等
76、imx RT 系列 智能语音方面是否有开源音频的3A算法呢?
A、没有开源算法,我们与市场上主要的算法公司有合作方案。请询问NXP经销商。
77、NXP能否请资深工程师录一些视频专辑,来阐述具体的AI工程实现?
A、很好的建议,后面会陆续有一些视频
78、tensorfolw、keras、caffe哪种框架使用起来最简便呢
A、keras训练模型更加人性化,倾向于自然语言
79、tensorfolw、keras、caffe哪种框架使用起来最简便呢
A、各有千秋,目前我们的工具对keras支持最好
80、RT系列的主要应用方向有哪些?
A、RT应用市场非常广泛。工业,消费,医疗等等都有应用。
81、是否支持扩展内存?
A、支持很多种,参考文档说明
82、模型有没有指导文档
A、不久会和大家见面
83、除法运算需要几个机器周期?
A、2-12个
84、主频能达到多高?
A、600MHz
85、方言识别靠算法?
A、主要是模型训练时加入方言语料
86、i.MX RT 处理器待机功耗有多少?
A、请参考RT数据手册。不同RT芯片数据会有不同。RT片上集成DCDC及LDO,可提供较低功耗。
87、离线识别的成功率有多高?
A、取决于模型在规模与性能的权衡
88、是否可以 1)识别出猫 2)然后根据猫脸识别出是哪只猫。
A、可以的,这和人脸识别系统是差不多的原理
89、是否可以 1)识别出猫 2)然后根据猫脸识别出是哪只猫。
A、而且,比较简单的方法是直接训练出能识别多种猫的模型
90、不联网时,训练的数据是存储在本地的什么存储器上,访问速度有多少
A、rt上是不需要存储数据集的,只需要部署模型
91、RT系列的功耗是多少?
A、请参考数据手册。RT片上集成DCDC和LDO,可提供较低功耗。
92、通过e络盟采购,有什么限制吗?
A、e络盟无最小起订数量和金额要求,大家可通过官网cn.element14.com进行采购,支付方式也灵活多样 – 接受支付宝、银联转账等付款方式。
93、人脸识别算法开源吗现在?
A、参考MobileFaceNet
94、看起来MobileNet 这类比inception更适合跑在iMX上?
A、如果性能要求高,实时性要求不那么高,就可以用inception
95、看起来MobileNet 这类比inception更适合跑在iMX上?
A、是的,事实上,我们已经跑通了mobilenet
96、这个后面会分享些具体的学习文档资料不
A、一定会的,请关注我们“恩智浦MCU加油站”微信公众号,以及官网
97、是否有试用活动?
A、今后会发布一些例子和应用笔记
98、这款处理器集成ethercat吗
A、RT支持Ethernet 1588。没有EtherCAT,客户需要外部EtherCAT PHY。
99、我用rt1052做象棋,目前考虑3~4步,时间就难以接受了,而且局面评估也是一个难点。。。
A、这和模型关系很大。象棋游戏在20多年前的红白游戏机上就有了
100、恩智浦 i.MX RT 跨界处理器支持什么接口的显示屏?屏的最大分辨率可达多少?
A、最大1366*768的并口裸屏,也支持8080接口的屏
101、i.MX RT系列是否有内置DDR的型号呢?
A、目前没有内置DDR。RT片上提供高达1MB SRAM。RT1064还提供片上4MB flash。
102、i.mx1052开发板能运行OPEN MV实例吗?
A、能
103、RT系列有多少型号呢?
A、600102010501060
104、i.MX RT系列支持是否支持哪种内存
A、非常多。主要是SDRAM, SPI NOR, 并口NOR
105、恩智浦 i.MX RT在机器学习方面有哪些优势
A、可以在低小的代价下在传统的MCU嵌入式系统中添加AI属性
106、时域信号如何变成多段频谱?有库推荐吗?
A、参考MFCC,ARM有开源
107、RT系列什么时候开始供货?供货周期需要多久?
A、RT1020, RT1050, RT1060已经开始供货。供货周期请咨询代理商。最快可以在14周以内。
108、可以跑哪些系统啊?
A、全部RTOS,以及emcraft的Linux
109、RT系列1050最最多支持几路CAN总线?
A、RT1020和RT1050有2路CAN,RT1060有两路CAN和1路CAN FD.
110、RT的工作温度范围是多少,主要看看能否用在恶劣环境中
A、-40 到 105 C
111、RT系列的主要应用方向是什么?
A、很多,RT是综合性很强的芯片
112、有工业级的吗
A、有
113、这些例程demo在哪里可以查看
A、之后会有官方release的版本,我们的openmv是有源码在GitHub的
114、如何获取开发套件和技术支持?
A、官网查看
115、i.MX RT 处理器有没有内部存储单元?支持多少空间?
A、512kb in rt1050, 1mb in rt 1060
116、openmv rt 哪里可以获得?
A、可以在淘宝上查找i.mx rt 可编程机器智能
117、是否具备智能学习功能?
A、目前还是通过在PC上训练好解决特定问题的模型,再部署到RT上
118、i.MX RT 处理器主要用于哪些领域?可以用于汽车虚拟仪表盘产品吗?
A、主要是工业和物联网
119、刚才那个红色的板子上的处理器和ST管脚兼容吗
A、是指openmv3吗,openmv rt与这个引脚兼容
120、是吗,猫脸那么容易识别?我知道谷歌做过猫的识别,结果他们只能识别出这个物体是猫,然后猫脸是识别这块谷歌没做了。谷歌把这部分代码开放。后续有公司做猫脸识别,都失败了。
A、关键是猫脸识别的模型,只要有模型就能转换再部署
121、咱们E络盟采购可以立合同吗? 我们学校这边超过5000需要立合同的
A、我们签订正规合同,有任何问题可以拨打我们客服电话: 400 820 5857 联系咨询
122、NXP是不是有相应的参考设计与SDK
A、是的
123、RT系列如果能支持MIPI接口的LCD最好啦,现在LCD基本上是MIPI接口的比较多..
A、RT今年会有支持MIPI的产品。
124、主要购买渠道在哪里?推荐在哪里购买?
A、各位线上的观众朋友可以通过登录我们的中文网站:cn.element14.com,或拨打我们的客服热线:400 820 5857,直接联系我们的销售及客服人员订购恩智浦以及其他电子元器件产品。
125、IMX.RT智能语音能实现离线语音吗?
A、目前是支持关键字识别
126、通过 e络盟采购,多久可以收到货品?
A、e络盟在全球多地设有仓库,总共拥有90余万种现货库存,并且我们还在不断投资新的产品库存。本地现货库存按时下单翌日即可到货。
127、i.MX RT是几核的?
A、单核Cortex-M7
128、小量可以在哪里采购?
A、各位线上的观众朋友可以通过登录我们的中文网站:cn.element14.com,或拨打我们的客服热线:400 820 5857,直接联系我们的销售及客服人员订购恩智浦以及其他电子元器件产品。
129、能不能举个例子,自主学习,到底学点什么,根据什么,基于什么原理或算法?
A、比如物体识别,基于cifar10,在pc端搭建卷积神经网络,经过训练,部署到rt上即可进行识别
130、IMX.RT系列生命周期有多少年?
A、最少10年。
131、i.MX RT 处理器不连接网络,是不是也要人工来辅助?
A、不需要
132、识别速度如何
A、mobilnet是400+ms,小的模型大概28ms
133、RT 支持到 OPEN CV 或者是Tensflow ??
A、不支持,通过转换工具把tf(keras)模型部署到RT
134、其实NXP的芯片性能都很强都很好,但很多时候我们都是不敢用。因为NXP的东西给我们留下的印象是,如果公司是大客户,订单足够大,那一切都很好,但这对于没有多少订单的个人来说,却是很大的压力。因此不敢采用同时可能也是因为这样,NXP的芯片经常很难在网上找到资料,例程,使用的人也不多,这让我们在遇到问题的时候很被动,更加不敢用,比如我在做车规MCU S32K144,就基本上没能找到什么资料。
A、您的意见很好,我们会反应以下的
135、i.MX RT系列芯片 人脸识别中主要实现哪些功能 有没有开源的历程
A、参考了MobileFaceNet, 再借助openmv的人脸检测功能
136、在PC机上训练的模型能否直接移植到RT芯片上面独立运行,不借助云服务器
A、能,我们就是以前实践的
137、请问是直接在rt上训练模型,还是在pc训练好再导入rt上运行?
A、PC上训练再导入到RT
138、识别精度如何的?
A、取决于模型的质量,转换并部署到RT上后精度几乎没有损失
139、有没有简单的模型直接在rt上训练,可以做出自己改进/进化的机器?
A、灭有
140、是否支持python?
A、openmv支持micropython编程
141、摄像头用哪种接口的
A、csi
142、i.MX RT可否通过4G/5G网络或WIFI实现远程摇控功能
A、完全没问题
143、芯片感觉挺高,大,上。专业性有点强。
A、就当普通的MCU来用就可以的
144、三角函数运算各需要多少机器周期?
A、这个取决于编译器的库。建议实测
145、自己设计模型的时候,参数的选择过程复杂吗
A、如果要求高的话需要反复调节超参数。可以先用别人训练好的模型
146、目前rt1052有移植Openmv其余摄像头嘛,比如OV2640
A、后面有计划
147、价格多少?
A、各位线上的观众朋友可以通过登录我们的中文网站:cn.element14.com,或拨打我们的客服热线:400 820 5857,直接联系我们的销售及客服人员订购恩智浦以及其他电子元器件产品。
148、是在这买吗?
https://cn.element14.com/search?st=mimxrt*
A、是的。各位线上的观众朋友可以通过登录我们的中文网站:cn.element14.com,或拨打我们的客服热线:400 820 5857,直接联系我们的销售及客服人员订购恩智浦以及其他电子元器件产品。
149、此产品目前是否有现货,是否可以提供样品试用?
A、各位线上的观众朋友可以通过登录我们的中文网站:cn.element14.com,或拨打我们的客服热线:400 820 5857,直接联系我们的销售及客服人员订购恩智浦以及其他电子元器件产品。
150、产品是否有货
A、各位线上的观众朋友可以通过登录我们的中文网站:cn.element14.com,或拨打我们的客服热线:400 820 5857,直接联系我们的销售及客服人员订购恩智浦以及其他电子元器件产品。
151、RT1052 使用cache 造成的数据不一致性问题,如何解决?
A、只要注意cache使用的通用事项就可以了,主要是合理使用invalidate和clean维护。为了减少麻烦,建议把和dma共享的内存放在不可cache区。
152、有类似CubeMX的工具,可以快速配置吗?
A、正在制作。而且会支持比cubemx更多的模型,比如人脸识别模型。
153、处理器的速度怎么样?最大主频是多大?
A、600MHz,后期会有1GHz产品
154、使用什么工具进行开发?
A、MCUXpresso ,Keil,IAR
155、对于神经网络的支持可以讲讲吗?
A、目前支持全连接,卷积,ds卷积;串联,残差连接,拼接,几乎可以转换所有的CNN网络
156、有移植过yolo或者ssd官方模型吗
A、目前还没有
157、本次PPT能提供下吗?
A、会
158、内存可以扩展吗
A、可以
159、请问openmv或者microPython是否可以在1052上使用呢?
A、可以的,有第3方制作了模块,在淘宝上查找“i.mx rt 可编程”
160、i.MX RT对网络有没有特别的要求,或者说是指定的网络?
A、支持全连接,卷积,DS卷积
161、做音频处理,添加ai,是需要1052,还是更专门的rt600,或者1020就可以了?
A、都可以,只要内存装得下的模型
162、1060 只能做简单的智能音响
A、毕竟只有1.2GOPS的理论算力,如果是更复杂的就需要联网了
163、请问你们有没有类似stm32cube这样的图形化配置工具配置初始化代码?
A、我们自制了一些工具,自己实践的例子就是通过它们生成的。后面会完善并发布出来
164、请问rt1020是否支持?只是速度慢一点,对吧?
A、是的,存储容量也会小一些
165、RT1050支持64位的浮点运算吗?
A、支持的,硬件FPU
166、除了openMV还有其它的SDK能支持这个机器学习吗
A、我们会在官方SDK里加入裸机的AI例子
167、现在哪些DNN框架提供了比较方便的float-->int8的自动量化功能?
A、应该都能实现。不过我们是根据模型转换需要自己做的
168、有micropython固件吗?包含外设库的?没有的话有没有计划开发这个?
A、有的,请看我们"恩智浦MCU加油站”公众号里的文章
169、openmv rt 官网上能购到吗
A、openmvrt并不是官方的openmv,但可以在淘宝里搜索"i.mx rt 可编程"找到第3方制作的兼容板子
170、硬件开发板哪里可以获取
A、如果是体验openmvrt,可以在淘宝里搜索"i.mx rt 可编程"
171、老师你好,我原来一直用200M的DSP进行语音降噪处理,在DSP中,有很多信号处理的库,用起来很方便,比如fft等,我想问一下这个RT系列对音频降噪处理合适吗?有没有相关的数学库?内置的ram最大有多大?谢谢
A、ARM提供了CMSIS-DSP,有FFT。目前1060内置1MB的RAM。
172、和STM32 H7 有啥优势呢??
A、主频更高,更大的cache,更大的单周期RAM (TCM)。更便宜的低端型号
此内容由EEWORLD论坛网友EEWORLD社区原创,如需转载或用于商业用途需征得作者同意并注明出处