#AI挑战营终点站# 部署数字识别模型

wangerxian

#AI挑战营终点站# 部署数字识别模型 [复制链接]

官网手册：https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-quick-start

1、开发板烧入镜像

首先需要网开发板烧入镜像（百度云：https://pan.baidu.com/s/1Mhf5JMpkFuZo_TuaGSxBYg?pwd=2sf8），镜像选择【buildroot】的，我们这个板子的型号是Luckfox Pico Max，所以下载下面的这个镜像即可。

烧入过程，大家直接参考官网教程【https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-Flash-burn-image】，非常详细。

烧入完成之后，插入TypeC到电脑，就会直接识别出一个网卡，修改这个网卡本机的IP地址，官网推荐【172.32.0.100】，子网掩码【255.255.0.0】。

然后用【MobaXterm】（https://files.luckfox.com/wiki/Core3566/MobaXterm_Portable_v22.0.zip）软件进行登录，为什么推荐这个软件，因为这个软件可以ssh控制，同时还可以可视化传输文件，比较友好。

插入摄像头，排线蓝色面朝准网口，像下面这个图一样接。

接好摄像头之后，重启开发板，下载【VLC media player】（https://www.videolan.org/vlc/index.zh-TW.html）软件，然后在菜单栏上选择媒体-》打开网络串流，输入【rtsp://172.32.0.93/live/0】网址，就可以看到摄像头的内容了，不过刚上电可能会连接失败，需要稍等一会哦~

2、SDK部署

大家可以参考官方手册进行部署：https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-SDK

我这里使用的ubuntu22.04环境，所以操作比较简单。

先安装所需要的包：

sudo apt update

sudo apt-get install -y git ssh make gcc gcc-multilib g++-multilib module-assistant expect g++ gawk texinfo libssl-dev bison flex fakeroot cmake unzip gperf autoconf device-tree-compiler libncurses5-dev pkg-config bc python-is-python3 passwd openssl openssh-server openssh-client vim file cpio rsync

获取最新的 SDK ：

git clone https://gitee.com/LuckfoxTECH/luckfox-pico.git

克隆完成后，执行下面的命令进行编译SDK，这里耗时可能会比较长。

cd luckfox-pico

#编译busybox/buildroot
./build.sh lunch
./build.sh

编译时选择【8】，这是对应的版本。

最近618换了，电脑编译也比较快，耗时二十几分钟。

3、测试官方RKNN模型例程

创建一个文件夹，然后通过git下载官方RKNN例程，命令如下。

mkdir workspace
cd workspace/
git clone https://github.com/luckfox-eng29/luckfox_pico_rtsp_opencv.git

然后执行编译和安装，命令如下：

cd luckfox_pico_rtsp_opencv/

//export LUCKFOX_SDK_PATH=<Your Luckfox-pico Sdk Path>
export LUCKFOX_SDK_PATH=/home/wex/luckfox-pico/luckfox-pico
mkdir build
cd build
cmake ..
make && make install

通过MobaXterm登录开发板，IP【172.32.0.96】，账号【root】，密码【luckfox】。

通过MobaXterm登录Ubuntu系统，可以通过ifconfig获取Ubuntu的IP。

然后把Ubuntu下的【luckfox_rtsp_opencv_demo/luckfox_rtsp_opencv】文件和【lib】目录拷贝到开发板上。

在开发板上新建一个work目录，将上面文件和文件夹拷贝到work目录中。

直接用鼠标拖动文件或文件夹即可。

输入【RkLunch-stop.sh】命令停止rtsp，也就是刚才咱们看到的摄像头内容功能。

进入开发板【work】文件夹，修改【luckfox_rtsp_opencv】文件权限【chmod 777 luckfox_rtsp_opencv】，然后执行该程序【./luckfox_rtsp_opencv】。

再通过刚才的显示VLC工具，打开摄像头。

可以发现视频左上角的内容不一致了。

4、测试数字识别Demo

这里要用到【https://bbs.eeworld.com.cn/thread-1282745-1-1.html】大佬的源码，后面我们有时间再分析一下代码。

找一个目录，通过git拉取一下代码，我这里还是选择在Ubuntu下的workspace目录中下载代码。

git clone https://gitee.com/luyism/luckfox_rtsp_mnist.git

目前工程是已经有编译好的文件，想要重新编译，只需要按照编译官方Demo的方式进行编译即可，目录结构是一致的。

这里需要将【luckfox_rtsp_mnist_dir】目录下的所有内容拷贝到开发板上。

修改可以执行文件【luckfox_rtsp_mnist】的权限。然后结束刚才的程序【Ctrl+C】，之后执行【luckfox_rtsp_mnist ./model/model.rknn】命令，如下图所示。

一样用VCL软件进行查看视频，看看运行的模型怎么样。

录像364

用电脑画图写了一个7和1识别的并不是很好，应该是模型和实际应用场景不太匹配，不过没关系，这里就需要对模型进行调参或者重新选择训练数据集了。

后面准备将大佬的模型源码下载下来，进行相关的调参和修改数据集。

这一步先到这，调参和修改数据集等我研究好代码再给大家献上帖子。

5、总结

这帖子只是一个模型部署过程，真正模型调参还需要到训练模型代码中去进行，由于时间比较紧急，调参和改训练集后面有时间我单独开一个帖子给补上，这个只是AI游戏的开始，希望大家一起参与。

wangerxian

识别写在纸上的数字会比较准确一些，这和训练集是有一定关系的。

秦天qintian0303

估计是7和1的共同特征太多了，多增加样本应该会有改善，不过这感觉摄像头延迟有点高啊

wangerxian

秦天qintian0303 发表于 2024-6-1 15:08 估计是7和1的共同特征太多了，多增加样本应该会有改善，不过这感觉摄像头延迟有点高啊

延迟确实挺高的，大概有1~2秒。

#AI挑战营终点站# 部署数字识别模型 [复制链接]

最新回复

点评