#AI挑战营终点站# rv1106数字识别模型部署与问题求助

Alex_Jun

#AI挑战营终点站# rv1106数字识别模型部署与问题求助 [复制链接]

## AI训练营最终站 哎，最后yolov5还是没有搞出来,这个帖子就是复现了前面knv大佬的最终结果来完成这次的AI训练营任务，还有就是求助各位大佬来解决一下我yolov5模型的部署过程中的问题。 ## 部署效果 因为是复现的别人的代码，所以我这里就不讲如何搭建环境了，因为大佬们的帖子里已经写的很详细了，我自己写的过程记录的都是关于yolov5的，就不放上来了，这里放一下我部署在开发板上的识别视频。 <div id="player_ab903093771fa6c587bc7a4c93f51bd80" class="localvideo-box"></div><div class="localvideo-title">识别</div><br/> 我一开始也是用CNN实现的，但是我看CNN实现的时候对环境要求比较大，因为MNIST数据集的背景都是纯色，没有噪声干扰，所以对于实际识别时会有较大的误差，比如光线角度等等都会影响到识别的结果，所以我打算使用自己的数据集训练一个yolov5模型来替换掉CNN模型，这样我还可以实现同时识别多个数字，这样还可以进行下一步的扩展，但是在不断的炼模型改代码的路上，最终还是没能成功，所以想在这里请教一下有没有懂得大佬，来解答一下我还没有解决的几个问题，这些问题解决了应该就能把yolov5模型部署到开发板上了。 ## yolo部署问题 因为是刚学AI，所以对网络训练都不熟悉，再加上最近一堆课设和作业，导致这边开始的有点慢。原本打算用yolov5来做一个多目标识别然后进行一些拓展功能的，过程记录都写了一百多行了，结果自己没跑成功，也是真正的认识到了AI学习的不容易。 模型部署的过程中一直遇到各种问题，我这些问题在rknn的交流群里面也有人问，但是没有人去解答，网上也都不说这个问题，好像默认大家都会这个。 ### 模型的输出维度不对 我查看了rknn_model_zoo-2.0.0下yolov5例程里面的模型yolov5s_relu.onnx，我发现他的输出是： <ignore_js_op> <img id="aimg_813087" style="cursor:pointer;" aid="813087" src="static/image/common/none.gif" zoomfile="data/attachment/forum/202406/01/004208dieiddjet6djaemj.png" file="data/attachment/forum/202406/01/004208dieiddjet6djaemj.png" class="zoom" onclick="zoom(this, this.src, 0, 0, 0)" width="428" id="aimg_813087" inpost="1" onmouseover="showMenu({'ctrlid':this.id,'pos':'12'})" /> <div class="tip tip_4 aimg_tip" id="aimg_813087_menu" style="position: absolute; display: none" disautofocus="true"> <div class="xs0"> <p><strong>1.png</strong> <em class="xg1">(9.91 KB, 下载次数: 0)</em></p> <p> <a href="javascript:;" class="loginf" >下载附件</a> <a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_813087" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=813087&handlekey=savephoto_813087">保存到相册</a> </p> <p class="xg1 y">2024-6-1 00:42 上传</p> </div> <div class="tip_horn"></div> </div> </ignore_js_op> 但是我的模型输出是： 这是我第一次在网上找了一个教程训练的yolov5 v5.0的模型输出，他的维度是五维，我看网上说把第二维和第五维相乘合并后得到的四维就和上面的那个模型维度相同了，但是最后模型输出是错的： <ignore_js_op> <img id="aimg_813088" style="cursor:pointer;" aid="813088" src="static/image/common/none.gif" zoomfile="data/attachment/forum/202406/01/004538xgz73vir7nggvc73.png" file="data/attachment/forum/202406/01/004538xgz73vir7nggvc73.png" class="zoom" onclick="zoom(this, this.src, 0, 0, 0)" width="422" id="aimg_813088" inpost="1" onmouseover="showMenu({'ctrlid':this.id,'pos':'12'})" /> <div class="tip tip_4 aimg_tip" id="aimg_813088_menu" style="position: absolute; display: none" disautofocus="true"> <div class="xs0"> <p><strong>2.png</strong> <em class="xg1">(9.33 KB, 下载次数: 0)</em></p> <p> <a href="javascript:;" class="loginf" >下载附件</a> <a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_813088" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=813088&handlekey=savephoto_813088">保存到相册</a> </p> <p class="xg1 y">2024-6-1 00:45 上传</p> </div> <div class="tip_horn"></div> </div> </ignore_js_op> 这是我的第二个模型，我训练的yolov5 v7.0的模型，他只有3维，网上是说把三个输出合并在一起了，也就是3*（80*80+40*40+20*20），都和在一起我尝试了很久也没有把他的结果解析出来 <ignore_js_op> <img id="aimg_813089" style="cursor:pointer;" aid="813089" src="static/image/common/none.gif" zoomfile="data/attachment/forum/202406/01/004538fzeo2neggtok22ko.png" file="data/attachment/forum/202406/01/004538fzeo2neggtok22ko.png" class="zoom" onclick="zoom(this, this.src, 0, 0, 0)" width="413" id="aimg_813089" inpost="1" onmouseover="showMenu({'ctrlid':this.id,'pos':'12'})" /> <div class="tip tip_4 aimg_tip" id="aimg_813089_menu" style="position: absolute; display: none" disautofocus="true"> <div class="xs0"> <p><strong>3.png</strong> <em class="xg1">(7.82 KB, 下载次数: 0)</em></p> <p> <a href="javascript:;" class="loginf" >下载附件</a> <a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_813089" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=813089&handlekey=savephoto_813089">保存到相册</a> </p> <p class="xg1 y">2024-6-1 00:45 上传</p> </div> <div class="tip_horn"></div> </div> </ignore_js_op> 做到这里的时候我发现我做的好像不太对，我去例程下又找了一下，我发现他官方例程用的不是纯yolov5的代码他自己又修改了一下： <ignore_js_op> <img id="aimg_813093" style="cursor:pointer;" aid="813093" src="static/image/common/none.gif" zoomfile="data/attachment/forum/202406/01/005552gv242oo4cqqojsvv.png" file="data/attachment/forum/202406/01/005552gv242oo4cqqojsvv.png" class="zoom" onclick="zoom(this, this.src, 0, 0, 0)" width="670" id="aimg_813093" inpost="1" onmouseover="showMenu({'ctrlid':this.id,'pos':'12'})" /> <div class="tip tip_4 aimg_tip" id="aimg_813093_menu" style="position: absolute; display: none" disautofocus="true"> <div class="xs0"> <p><strong>5.png</strong> <em class="xg1">(14.28 KB, 下载次数: 0)</em></p> <p> <a href="javascript:;" class="loginf" >下载附件</a> <a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_813093" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=813093&handlekey=savephoto_813093">保存到相册</a> </p> <p class="xg1 y">2024-6-1 00:55 上传</p> </div> <div class="tip_horn"></div> </div> </ignore_js_op> 然后我按照他的官方网站又去看了一下，按照教程重新训练了一个模型，这个模型的输出就变成了： <ignore_js_op> <img id="aimg_813090" style="cursor:pointer;" aid="813090" src="static/image/common/none.gif" zoomfile="data/attachment/forum/202406/01/004539veese79w9bmmmw0d.png" file="data/attachment/forum/202406/01/004539veese79w9bmmmw0d.png" class="zoom" onclick="zoom(this, this.src, 0, 0, 0)" width="394" id="aimg_813090" inpost="1" onmouseover="showMenu({'ctrlid':this.id,'pos':'12'})" /> <div class="tip tip_4 aimg_tip" id="aimg_813090_menu" style="position: absolute; display: none" disautofocus="true"> <div class="xs0"> <p><strong>4.png</strong> <em class="xg1">(8.97 KB, 下载次数: 0)</em></p> <p> <a href="javascript:;" class="loginf" >下载附件</a> <a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_813090" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=813090&handlekey=savephoto_813090">保存到相册</a> </p> <p class="xg1 y">2024-6-1 00:45 上传</p> </div> <div class="tip_horn"></div> </div> </ignore_js_op> 这还是与前面例程给的维度不一样，没法用例程部署到rv1106上。 ### 算子不支持 后来我打算先忽略这个问题，将模型导出为rknn模型在板子上跑一下，然后就是发现每个模型都有不支持的算子，我把能改的算子改了之后遇到一个他说不支持contiguous()这个函数，但是我在网上没有找到能替代这个函数的代码，有没有大佬可以解答一下疑惑了。 我试了很多模型，基本每个都有算子不支持的。我用他rknn_model_zoo推荐的代码去训练也有算子不支持，而且输出维度好像还是不对，是因为版本更新了吗，我可以如何去将yolov5部署到我的开发板上去？

秦天qintian0303

CNN实现的时候对环境要求比较大，所以哪怕是同一个，其结果输出还是差异比较大的吧

wangerxian

估计算法里的参数不一样，所以导致模型最终的维度不一样，这就需要研究代码了。

ccccccc@

这个要看到具体代码才能知晓问题的具体原因，至于contiguous()不能使用，他的作用是将非连续的张量转换为连续的张量。这在进行某些操作（如重新排列或改变形状）后尤其重要，因为某些操作可能会导致张量在内存中变得不连续。你可以尝试使用

x = some_tensor（某张量）

x = x.clone().reshape(x.shape)

该方式可以一定程度上确保张量连续且具有相同形状，但是并不能等效contiguous()

Alex_Jun

ccccccc@ 发表于 2024-6-4 10:20 这个要看到具体代码才能知晓问题的具体原因，至于contiguous()不能使用，他的作用是将非连续的张量转换为连 ...

感谢回复，我回去尝试一下修改后代码是否可以运行。

下面这些是我当时的报错信息以及我定位到的报错位置：

  参考模型结构，我定位到了如下位置：

该模块在代码中的位置应该是这里，但是我后来又查看了最新的RKNNToolKit2_OP_Support-v2.0.0-beta0.md，我发现这段代码的每一个函数好像都是支持的，你知道这是为什么吗？    这是最新的工具包支持的算子的链接：

链接已隐藏，如需查看请登录或者注册

      或者说是我找错了位置吗？

不语arc

给你参考一下我的帖子。#AI挑战营终点站# rv1106平台使用yolov5识别手写数字 - Linux与安卓 - 电子工程世界-论坛 (eeworld.com.cn)

我是使用yolov5 7.0版本训练的yolov5s.pt权重，然后使用https://github.com/airockchip/yolov5的export.py函数转为onnx模型，再使用 

链接已隐藏，如需查看请登录或者注册

的convert.py转成rknn模型。最终部署项目是 

链接已隐藏，如需查看请登录或者注册

。