人机互动介面和机器视觉应用上的最佳助手 直播资料合集

橙色凯

人机互动介面和机器视觉应用上的最佳助手 直播资料合集 [复制链接]

直播资料合集

有奖直播：人机互动介面和机器视觉应用上的最佳助手——瑞萨电子 RZ/G, RZ/A 和 RZ/V SoC系列

 

直播回放：

>>点击观看

 

直播文档：

Renesas_EPBD_RZ_MPU_Public  >>点击下载 

Avnet_A2M 工业二维码扫描仪方案介绍_Public  >>点击下载 

 

直播问答：

1、e-AI技术是在设备本地完成AI推论的过程，降低了环境要求也提高了运算效率，虽然表面上看是可以提升识别速度，但是相比云端识别效果会不会差点，因为云库中的图元应该要比机器存储的图元要多得多？

A :e-AI虽然在本地进行推论，但是前期的训练过程是在PC或者服务器上进行的，只要训练时提供足够多的样本，那么后续的推论准确率就不会受到影响。

2、机器视觉负责数据采集主要采集哪些信息？分辨率有多大？

A :目前已有的Demo主要采集图像数据，A2M最高支持1280x768的分辨率。将来的V2M会更高。

3、目前机器视觉的识别率最高能达到多少？

A :10月份的V2M支持的分辨率更高

4、人脸定位、头部姿态识别与跟踪、手势跟踪、动态手势识别、自定位、路径规划和场景学习这些数据采集有什么区别？

A :识别人脸的时候，数据集就是大量的人脸图片，老人小孩的，正脸侧脸的等等。识别手势的话就是手势的图片了，以此类推。

5、本次讨论的瑞萨的芯片只适合在Linux和安卓领域，Windows平台适用不了是么？

A :是的，只有LINUX, ANDROID, 和RTOS， 目前还没有支持Windows.

6、机器识别一般跑什么系统？效率怎么样

A :针对平台的不同，RZ/A系列可以跑Free RTOS系统，RZ/G和RZ/V可以跑Linux系统。在识别过程中帧率可达到30fps或更高，能够达到同步要求。

7、RZ／V2M能实现低至多少W的的功耗？

A :最低的话，待机模式是最低的，但是我们的芯片在运行起来功耗也非常低。这个内容我们后边也会讲到。

8、人机互动介面和机器视觉应用上的最佳助手是软件还是硬件？

A :硬件，其中的示例代码和算法库可以免费提供。

9、瑞萨电子 RZ 系列支持哪些操作系统，是否支持RTOS?

A :RZ/A系列就可以支持FreeRTOS了，RZ/G和RZ/V可以支持Linux系统。

10、请问老师人机互动界面的机器视觉算法都包含哪些？

A :目前我们在逐步开发与open CV功能一致的DRP库，如果客户有特殊需求我们也可以帮忙定制算法库。

11、RZ/G系列MPU集成了多少位MPU？

A :32位和64位。

12、瑞萨RZ 系列针对机器视觉是否有相应的加速的软硬件支持？

A :今天的主角，DRP就是对机器视觉做硬件加速的！

13、为什么e一AⅠ技术能抛开云端困扰？（13390897256）

A :我们把AI过程中的训练和推论拆开了，训练过程在PC端或者服务器进行，最后把训练结果翻译成C代码移植到CPU执行。

14、机器识别的正确率能达到多少？

A :取决于神经网络模型设计的好坏，以及前期训练过程中提供的数据集的数量。

15、瑞萨的DRP模块比FPGA相比有何优势？（13390897256）

A :首先是节省空间，其次是运用灵活。我们的DRP模块是集成在芯片内部的，而且可以适时调整运算法则。

16、瑞萨的e一AⅠ技术和DRP技术的应用对设备网络环境有何特别要求？是否可以省去云的支持？（13390897256）

A :对网络环境无要求，不需要云端支持。

17、RZ除了能运行实时系统外，对linux性能怎么样？

A :RZ/G系列和RZ/V系列都支持Linux的

18、RZ/G系列微处理器支持 Linux操作系统吗？

A :支持

19、RZ系列能实现落地识别吗? 还是必须要借助于云端?

A :不需要借助云端。我们的e-AI就是脱离云端进行AI推论的一个概念。

20、RTOS系统里能用e-ai技术吗

A :可以，e-AI技术对操作系统的要求不高。

21、E-Ai 技术 是为了离线使用的吗？英文现在很多方案都是要链接到云端的。

A :是的。

22、老师 ，请问e一Al技术方案能否扩展到高端应用？原因是什么？（13390897256）

A :e-AI技术应用起来非常灵活。你指的高端应用是什么？

23、您好，请问支持跑RTOS系统吗？谢谢

A :RZ/A系列就可以跑RTOS了。RZ/G和RZ/V

24、1080p刷新率能到多少？

A :取决于中间的图像处理算法复杂程度。

25、RZ系列跑freertos的话，需要额外添加内存吗

A :A2M 内置4MB SDRAM，不需要外接SDRAM

26、请问老师瑞萨是否进行机器学习数据的采集工作？

A :每个客户的应用场景不同，需要的数据集也不同，一般都由客户自己根据需求去准备。

27、瑞萨的方案里对于辅助硬件有什么要求？比如说光学镜头，光源等

A :要看具体的应用场合。比如快递分拣或者是缺陷检测，用到的光源和摄像头模组的输出分辨率，镜头FOV 也是不一样的。

28、瑞萨RZ内部是否有有集成FPGA？

A :没有，我们内嵌了自有的DRP模块，比FPGA好用多了。

29、请问老师RZ/G都是基于linux进行开发的吗？算法是否是开源的？

A :是的。e-AI的算法完全开源，DRP算法我们可以以库的形式提供。如果客户有需要也可以自己开发自由的算法库，由瑞萨提供DRP库的开发培训。

30、参考代码和固件从哪里下载？

A :https://www2.renesas.cn/cn/zh/ 瑞萨官网都可以搜索下载。

31、请问RZ系列的最大内部存储容量多少？如果跑freeRTOS是不是再再接一个DDR？

A :RZ A2M 内置4MB SDRAM, 如果是跑RTOS ,是不需要外接DDR

32、RZ内部的H264和265的编解码是硬件实现的还是软件实现？

A :H.264/H.265 是硬件处理的。

33、开发软件语言支持Python吗？

A :PYTHON 可以移植上去。

34、openGL已经集成了吗

A :带GPU 版本的芯片是支持OPENGL.

35、老师，请问DRP技术能夠将图像处理速度提高多少倍？（13390897256）

A :提高程度与算法复杂程度有关，目前我们开发过程中遇到的，2倍~90倍之间的都有。

36、运行 DPR对ram的要求高么？？soc是否需要外部ram？？

A :DRP有自己的RAM空间，是完全独立于CPU的一个硬件运算单元。A2M片上自有4Mb的RAM，一般不需要接外部RAM

37、请问老师瑞萨的DRP模块的计算能力如何？主频能够达到多少？

A :DRP的优势在于主频低功耗低但是运算能力强，运行同样的算法（CPU调openCV库）DRP的性能平均可以提高10~20倍。主频在0~66MHz

38、RZ在ai应用中，可以运行目前主流的深度学习模型吗？

A :深度学习模型可能要占用很大的RAM空间，一般移植到MCU上的模型都是经过简化的，10层以内的轻量级AI模型。

39、请问老师瑞萨的处理器都是单核的吗？

A :不是哦

40、老师，请问DRP技术有开发系统吗？能否支持Al开发调试？

A :有专门的DRP算法库开发工具，目前版本的DRP不支持AI运算，下一代产品V2M带有DRP-AI Mac，可以在硬件层面对AI算法进行加速。

41、能否上太空，抵御太空粒子辐射？

A :可以，甚至能够与三体舰队刚正面。

42、RZ最高只支持100M，后续会考虑千兆网吗。分辨率越来越高，对传输速度要求也就越来越高？

A :有某些型号是支持千兆网。

43、RZ/V在AI的识别精度具有哪些特点？

A :模型是在服务器上训练，训练完后通过转换工具，转化成V2M 能够运行的模型。识别的精度跟模型的有关。

44、请问瑞萨电子的SOC支持哪些图像传感器的接入？

A :A2M 支持MIPI CSI 接口

45、请问老师，DRP在图像处理加速上能否包括二维条码与虹膜捡测的提取？（13390897256）

A :可以，我们现在已经有了二维码识别和虹膜识别的demo。

46、RZ高端系列有对卷积神经网络进行加速处理的硬件单元吗?

A :10月份可以拿到V2M的样片，支持对各种AI模型进行加速，敬请期待！

47、RZ/G2 系列 MPU 主频能达到多少？

A :最高528M

48、RZ/A 系列目前分辨率最高能达到多少？

A :Rz/A2M最高支持1280x768

49、Renesas Electronics RZ内部集成最大的RAM是多大，足够跑机器视觉应用吗？能否外扩SDRAM？

A :A2M 支持 4MB SDRAM, 如果是做二维码扫描枪，是不需要外扩SDRAM

50、瑞萨电子 RZ/G, RZ/A 和 RZ/V SoC系列跑的是rtos系统吗？

A :RZ/A跑RTOS ，RZ/G和RZ/V可以跑到linux

51、检测人员口罩帽子手套佩戴情况 是不是用RZ/A就足够实现了

A :是的，我们现在也有检测人是否戴口罩的demo

52、RZ/G2 都支持真4K分辨率吗？

A :RZ G2 支持 4K

53、e-AI技术在设备本地完成AI推论，会比云端识别效果差吗？

A :同样的模型和训练集，e-AI与传统AI的识别效果没有任何差别。

54、有老师能回答一下吗 目前主要做2个项目用到识别 一个是人员口罩帽子手套佩戴识别 另一个是猪脸识别 能帮助选型吗

A :要看贵司用的识别模型是哪种类型。

55、全景视觉瑞萨可以应用吗？

A :如果是指多摄像头图像拼接，是可以的。

56、请问老师瑞萨是否有人脸识别的相关产品

A :我们有基于RZ/A2M开发的人脸识别的Demo。如果有需要可以联系我们。

57、属于边缘计算吗？

A :属于

58、请问一下Rz/V图像处理对周边环境有什么要求，我们属于钢铁企业高温情况和室外作业比较多，有什么影响吗

A :RZ/V 是针对工业应用开发的芯片。

59、机器学习都是在线学习吗？还是将训练好的算法直接植入到DRP中？

A :不是在线学习。

60、有的人脸识别能不脱口罩就识别是硬件还是软件做到的？

A :如果CPU 的性能够是可以的。但是功耗会非常大。

61、请问老师产品使用的FPGA也是瑞萨自己的产品吗？还是外购的？

A :没有用到FPGA啊，我们用的DRP，是瑞萨自有的技术。

62、DRP如何编程,有专门的开发环境吗?还是支持某种代码?

A :有专门的开发工具，用C语言进行开发。

63、瑞思有人脸识别及人属性的检测识别的demo吗

A :首先，是瑞萨。其次，我们有人脸识别的demo。最后，人属性都有哪些属性？

64、RZ只能运行10层以内的模型的话，场景复制的误检会很多的？

A :RZ V2M 不单只支持10层模型。

65、你们的demo是不是到时候都开源给我们

A :是的。

66、在ai应用中，运行速度非常快，rz需要加风扇吗，功率多大？

A :不需要加风扇

67、RZ／V2M系列支持H.265和MJPEG编解码吗？

A :支持

68、ai是需要用户自己训练吗？

A :因为每个客户的应用场景都不一样，所以需要用户自己准备数据集并进行训练。

69、瑞萨RZ的高速USB能否对接人工神经网络的加速棒，如Intel或rockchip的？

A :RZV2M 内置的神经网络加速器比外置的算力棒要强。

70、貌似V系列外设更丰富了啊

A :是的啊~~

71、DRP处理32帧的那个demo，视频是多大吗？

A :是VGA的分辨率，640x480的。

72、如果运行同样的算法，DRP的性能平均可以提高大概多少？

A :看算法的复杂程度了，目前开发过的库，2~90倍的都有，平均水平在10~20倍。

73、使用瑞萨需要自己拿芯片来做pcb板吗？还是已经有可以直接拿来使用的？

A :我们有评估板可以借给客户做评估。

74、RZ应用在AI方面，如果系统跑在最高频率，请问需要辅助散热吗？谢谢

A :不需要。

75、讲解中猫的识别是仅仅识别猫还是能分辨不同的猫 这个跟我们猪脸识别很类似啊 请问有demo吗

A :猪脸识别是指要分辨不同的猪吗？

76、A2M支持CAN总线吗

A :支持。A2M有两路CAN

77、A2M芯片是如何同时支持RTOS和Linux的，是每个项目只能选一种吗。好像只有多核异构的才能同时支持的。

A :A2M只支持RTOS，G系列和V系列才支持linux

78、e-AI开发有专门的IDE吗?

A :是有专门的IDE

79、A2M貌似不支持PWM？

A :支持PWM

80、DRP lib可以免费使用吗

A :可以。

81、A2M DRP lib 库是直接访问，还是建立在CMSIS-NN之上的？是否有独立的API

A :独立的API

82、是采用上位机训练，下位机判断执行？还是直接在下位机训练判断执行？

A :上位机训练，下位机推理。

83、DRP支持opencv吗

A :DRP的目标是替换opencv

84、一般是不是使用高分辨率的相机就可以达到比较好的识别效果？

A :芯片的处理能力不够的话，高分辨率也处理不了。

85、A2M最高频率能跑到多少？支持倍频吗？谢谢

A :528Mhz, 不支持倍频

86、可以支持哪些系统？

A :LINUX 和 RTOS

87、训练好的模型占多少空间？

A :这个取决于AI模型设计的复杂程度。

88、请问DRP的程序烧录的方式是什么样的？

A :DRP库以二进制文件存放在工程中，编译工程的时候一起编译了。

89、A2M还能跑linux啊厉害

A :A2M不跑linux啊

90、DRP除了扫描二维码还可以应用在什么方面呢？

A :有车牌识别，人脸识别等

 

okhxyyo

这个总结挺好

yyhhgg

这个视频回放在哪里，官网也找不到关于这个视频的程序