#AI挑战营终点站#将模型部署到RV1106中通过摄像头采集进行手写数字识别

knv

#AI挑战营终点站#将模型部署到RV1106中通过摄像头采集进行手写数字识别 [复制链接]

<i class="pstatus"> 本帖最后由 knv 于 2024-5-24 10:16 编辑 </i>

感谢eeworld提供的开发板,，东西还挺精致的。检查一下直接插上USB。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810201" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810201&handlekey=savephoto_810201">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

开发板都自带的 SPI NAND FLASH，并在出厂时搭载了测试系统。然而，用户在收到板子后需要自行烧录网盘系统，以确保正常使用 PWM、I2C、UART 等功能。

1.下载和解压烧录工具(戳我下载)。
https://files.luckfox.com/wiki/Luckfox-Pico/Software/SocToolKit.zip
安装驱动
https://files.luckfox.com/wiki/Luckfox-Pico/Software/DriverAssitant_v5.12.zip

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810202" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810202&handlekey=savephoto_810202">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

2.选择rv1106

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810203" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810203&handlekey=savephoto_810203">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

3.按住boot键链接usb，设备管理器增加下面的设备

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810204" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810204&handlekey=savephoto_810204">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810205" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810205&handlekey=savephoto_810205">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

4：开始刷机
建议使用buildroot系统
因为https://forums.luckfox.com/viewtopic.php?t=22

刷机完毕后，重新链接开发板，电脑会多一个rndis网口，配置电脑 rndis网口的ip地址 为172.32.0.100  子网掩码 255.255.0.0

此时可以通过ssh 或者telnet 访问 172.32.0.93

登录账号：root
登录密码：luckfox
静态IP地址：172.32.0.93

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810206" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810206&handlekey=savephoto_810206">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

测试摄像头

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810208" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810208&handlekey=savephoto_810208">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

LuckFox Pico Pro/Max 开发板连接摄像头时，请确保摄像头排线的金属面朝向开发板芯片。

查看摄像头，若成功识别摄像头会生成 rkipc.ini 文件。
```
ls /userdata/
ethaddr.txt lost+found image.bmp video0 video2 rkipc . ini video1
```
此时可以通过vlc 拉流看到摄像头内容
默认的 IP 地址：rtsp://172.32.0.93/live/0

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810209" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810209&handlekey=savephoto_810209">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

接下来配置开发环境
参考 
https://wiki.luckfox.com/zh/Luckfox-Pico/Luckfox-Pico-SDK
此处不再赘述

我这种小白肯定是不会使用太复杂的代码，所以直接照抄历程

在ubuntu中新建一个文件夹
运行
```
git clone https://github.com/luckfox-eng29/luckfox_pico_rtsp_opencv

export LUCKFOX_SDK_PATH=<Your Luckfox-pico Sdk Path>
mkdir build
cd build
cmake ..
make && make install
```

将编译生成的luckfox_rtsp_opencv_demo/luckfox_rtsp_opencv 和 lib目录都上传到 luckfox-pico 上，进入文件夹运行
运行目录下应有 luckfox_rtsp_opencv lib model.rknn 三个文件

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810210" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810210&handlekey=savephoto_810210">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

```
RkLunch-stop.sh
./luckfox_rtsp_opencv
```
使用 vlc 打开网络串流 rtsp://172.32.0.93/live/0（按实际情况修改IP地址拉取图像） 注意：运行前请关闭系统默认 rkipc 程序，执行 RkLunch-stop.sh 关闭 在 luckfox-pico / mini / plus 上尝试降低推流分辩率保存程序运行。

如何降低分辨率

设置main方法的width height  即可

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810211" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810211&handlekey=savephoto_810211">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

配置rknpu库引用
在根目录的 CMakeLists.txt

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810212" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810212&handlekey=savephoto_810212">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

加入这行

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810218" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810218&handlekey=savephoto_810218">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

首先我的思路就是将摄像头采集到的帧，直接进行模型分析。
直接开始编写代码 ，因为 rv1106不支持get，set， 所以需要使用	rknn_query及其后续函数进行模型推理。
~~此处大坑~~
参考项目：https://github.com/MontaukLaw/rv1106_night_vision

```
int run_inference(cv::Mat &frame)
{
	int ret = 0;
	rknn_input_output_num io_num;

// 获取输入输出的通道树
	rknn_query(ctx, RKNN_QUERY_IN_OUT_NUM, &io_num, sizeof(io_num));

rknn_tensor_attr input_attrs[io_num.n_input];
	memset(input_attrs, 0, io_num.n_input * sizeof(rknn_tensor_attr));
	for (uint32_t i = 0; i < io_num.n_input; i++)
	{
		input_attrs<i>.index = i;
		// query info
		ret = rknn_query(ctx, RKNN_QUERY_INPUT_ATTR, &(input_attrs<i>), sizeof(rknn_tensor_attr));
		if (ret < 0)
		{
			printf("rknn_init error! ret=%d\n", ret);
			return -1;
		}
		dump_tensor_attr(&input_attrs<i>);
	}

printf("output tensors:\n");
	rknn_tensor_attr output_attrs[io_num.n_output];
	memset(output_attrs, 0, io_num.n_output * sizeof(rknn_tensor_attr));
	for (uint32_t i = 0; i < io_num.n_output; i++)
	{
		output_attrs<i>.index = i;
		// query info
		ret = rknn_query(ctx, RKNN_QUERY_NATIVE_OUTPUT_ATTR, &(output_attrs<i>), sizeof(rknn_tensor_attr));
		if (ret != RKNN_SUCC)
		{
			printf("rknn_query fail! ret=%d\n", ret);
			return -1;
		}
		dump_tensor_attr(&output_attrs<i>);
	}

cv::Mat gray;
	cv::cvtColor(frame, gray, cv::COLOR_BGR2GRAY);
	cv::resize(gray, gray, cv::Size(28, 28), 0, 0, cv::INTER_LINEAR);

// printf("Gray image size: %dx%d\n", gray.rows, gray.cols);
	// printf("Gray image type: %d\n", gray.type());
	// 为resize后的图形申请内存
	int mem_size = MODEL_WIDTH * MODEL_HEIGHT * CHANNEL_NUM;
	unsigned char *resize_buf = (unsigned char *)malloc(mem_size);
	memset(resize_buf, 0, mem_size);

// Create input tensor memory
	rknn_tensor_mem *input_mems[1];
	// default input type is int8 (normalize and quantize need compute in outside)
	// if set uint8, will fuse normalize and quantize to npu
	input_attrs[0].type = input_type;
	// default fmt is NHWC, npu only support NHWC in zero copy mode
	input_attrs[0].fmt = input_layout;

input_mems[0] = rknn_create_mem(ctx, input_attrs[0].size_with_stride);

// Copy input data to input tensor memory
	int width = input_attrs[0].dims[2];
	int stride = input_attrs[0].w_stride;

if (width == stride)
	{
		memcpy(input_mems[0]->virt_addr, gray.data, width * input_attrs[0].dims[1] * input_attrs[0].dims[3]);
	}
	else
	{
		int height = input_attrs[0].dims[1];
		int channel = input_attrs[0].dims[3];
		// copy from src to dst with stride
		uint8_t *src_ptr = gray.data;
		uint8_t *dst_ptr = (uint8_t *)input_mems[0]->virt_addr;
		// width-channel elements
		int src_wc_elems = width * channel;
		int dst_wc_elems = stride * channel;
		for (int h = 0; h < height; ++h)
		{
			memcpy(dst_ptr, src_ptr, src_wc_elems);
			src_ptr += src_wc_elems;
			dst_ptr += dst_wc_elems;
		}
	}

// Create output tensor memory
	rknn_tensor_mem *output_mems[io_num.n_output];
	for (uint32_t i = 0; i < io_num.n_output; ++i)
	{
		output_mems<i> = rknn_create_mem(ctx, output_attrs<i>.size_with_stride);
	}

// Set input tensor memory
	ret = rknn_set_io_mem(ctx, input_mems[0], &input_attrs[0]);
	if (ret < 0)
	{
		printf("rknn_set_io_mem fail! ret=%d\n", ret);
		return -1;
	}

// Set output tensor memory
	for (uint32_t i = 0; i < io_num.n_output; ++i)
	{
		// set output memory and attribute
		ret = rknn_set_io_mem(ctx, output_mems<i>, &output_attrs<i>);
		if (ret < 0)
		{
			printf("rknn_set_io_mem fail! ret=%d\n", ret);
			return -1;
		}
	}

// 运行推理
	ret = rknn_run(ctx, nullptr);
	if (ret < 0)
	{
		printf("rknn_run failed! %s\n", ret);
		return -1;
	}

printf("output origin tensors:\n");
	rknn_tensor_attr orig_output_attrs[io_num.n_output];
	memset(orig_output_attrs, 0, io_num.n_output * sizeof(rknn_tensor_attr));
	for (uint32_t i = 0; i < io_num.n_output; i++)
	{
		orig_output_attrs<i>.index = i;
		// query info
		ret = rknn_query(ctx, RKNN_QUERY_OUTPUT_ATTR, &(orig_output_attrs<i>), sizeof(rknn_tensor_attr));
		if (ret != RKNN_SUCC)
		{
			printf("rknn_query fail! ret=%d\n", ret);
			return -1;
		}
		dump_tensor_attr(&orig_output_attrs<i>);
	}

// 创建存储模型输出的NCHW格式数据的向量
	std::vector<int8_t *> output_mems_nchw;
	for (uint32_t i = 0; i < io_num.n_output; ++i)
	{
		int size = orig_output_attrs<i>.size_with_stride;
		int8_t *output_mem = new int8_t[size];
		output_mems_nchw.push_back(output_mem);
	}

// 进行NC1HWC2_int8_to_NCHW_int8转换
	// for (uint32_t i = 0; i < io_num.n_output; i++) {
	//     int channel = orig_output_attrs<i>.dims[1];
	//     int h = orig_output_attrs<i>.n_dims > 2 ? orig_output_attrs<i>.dims[2] : 1;
	//     int w = orig_output_attrs<i>.n_dims > 3 ? orig_output_attrs<i>.dims[3] : 1;
	//     int hw = h * w;
	//     NC1HWC2_int8_to_NCHW_int8((int8_t*)output_mems<i>->virt_addr, (int8_t*)output_mems_nchw<i>,
	//                               (int*)output_attrs<i>.dims, channel, h, w);
	// }

// 获取预测的数字
	int predicted_digit = get_predicted_digit(output_mems_nchw);

// 释放内存
	for (uint32_t i = 0; i < io_num.n_output; ++i)
	{
		delete[] output_mems_nchw<i>;
	}
	rknn_destroy_mem(ctx, input_mems[0]);
	for (uint32_t i = 0; i < io_num.n_output; ++i)
	{
		rknn_destroy_mem(ctx, output_mems<i>);
	}

return predicted_digit;
}
```
将编译生成的luckfox_rtsp_opencv_demo/luckfox_rtsp_opencv 和 lib目录都上传到 luckfox-pico 上，进入文件夹运行
运行目录下应有 luckfox_rtsp_opencv lib model.rknn 三个文件

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810630" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810630&handlekey=savephoto_810630">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

```
# chmod 777 luckfox rtsp opencv
# ./luckfox rtsp opencv model.rknn
```

运行效果

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810221" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810221&handlekey=savephoto_810221">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

# 调优：
此时我们已经可以通过摄像头进行图片获取，并且识别了。
但是识别准确率极低，因为有太多的干扰项目了。我们调整一下代码，增加一个裁剪视频帧的功能，

下面是两个裁剪函数。
```
cv::Rect find_digit_contour(const cv::Mat &image)
{
	cv::Mat gray, blurred, edged;
	cv::cvtColor(image, gray, cv::COLOR_BGR2GRAY);
	cv::GaussianBlur(gray, blurred, cv::Size(5, 5), 0);
	cv::Canny(blurred, edged, 50, 150);

std::vector<std::vector<cv::Point>> contours;
	cv::findContours(edged, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);

if (contours.empty())
	{
		return cv::Rect();
	}

// 找到最大的轮廓
	auto largest_contour = std::max_element(contours.begin(), contours.end(),
											[](const std::vector<cv::Point> &a, const std::vector<cv::Point> &b)
											{
												return cv::contourArea(a) < cv::contourArea(b);
											});

return cv::boundingRect(*largest_contour);
}

cv::Mat preprocess_digit_region(const cv::Mat ®ion)
{
	cv::Mat gray, resized, normalized;
	cv::cvtColor(region, gray, cv::COLOR_BGR2GRAY);
	cv::resize(gray, resized, cv::Size(28, 28), 0, 0, cv::INTER_LINEAR);
	resized.convertTo(normalized, CV_32F, 1.0 / 255.0);
	return normalized;
}

```

接下来调整调用逻辑 ，有文本裁剪数据时才使用模型推理。
```
	cv::Mat frame(height, width, CV_8UC3, data);
			// 复制一个帧，然后使用模型推理，获取结果，传递到resdata中。

cv::Rect digit_rect = find_digit_contour(frame);
			if (digit_rect.area() > 0)
			{
				cv::Mat digit_region = frame(digit_rect);
				cv::Mat preprocessed = preprocess_digit_region(digit_region);
				int prediction = run_inference(preprocessed);

// 在图像上显示预测结果
				cv::rectangle(frame, digit_rect, cv::Scalar(0, 255, 0), 2);
				cv::putText(frame, std::to_string(prediction), cv::Point(digit_rect.x, digit_rect.y - 10),
							cv::FONT_HERSHEY_SIMPLEX, 1, cv::Scalar(0, 0, 255), 2);
			}
```

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_810220_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-21-16h07m39s438.png</strong> <em class="xg1">(126.17 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_810220" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=810220&handlekey=savephoto_810220">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<div id="player_87f05bc08ca9bbb4de2aa68d31b91b640" class="localvideo-box"></div><div class="localvideo-title">vlc-record-2024-05-21-16h08m12s-rtsp___172.32.0.93_live_0-</div><br/>

# 最后结果：
识别率还是很差，识别不是很稳定，该模型也没什么区别，等待大佬来带了。

## 二次调整及优化

感谢luyism [luyism](https://gitee.com/luyism/luckfox_rtsp_mnist "luyism") 大佬做出的开源优化
通过阅读代码，了解到了之前的代码中的不足，
1：预处理问题
2：后处理问题
通过修正这部分代码，来重新编译程序，完成手写数字的识别。

增加预处理部分
```
// 在图像中找到数字的轮廓，同时减小找到轮廓时的抖动
cv::Rect find_digit_contour(const cv::Mat &image) {
	
	// 预处理图像
    cv::Mat gray, blurred, edged;
    cv::cvtColor(image, gray, cv::COLOR_BGR2GRAY);
    cv::GaussianBlur(gray, blurred, cv::Size(5, 5), 0);
    cv::Canny(blurred, edged, 30, 150);

// 应用形态学操作
    cv::Mat kernel = cv::getStructuringElement(cv::MORPH_RECT, cv::Size(5, 5));
    cv::dilate(edged, edged, kernel);
    cv::erode(edged, edged, kernel);

// 查找轮廓，声明一个变量来存储轮廓
    std::vector<std::vector<cv::Point>> contours;
    cv::findContours(edged, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);

if (contours.empty()) {
        return cv::Rect();
    }

// 找到最大的轮廓
    auto largest_contour = std::max_element(contours.begin(), contours.end(),
                                            [](const std::vector<cv::Point>& a, const std::vector<cv::Point>& b) {
                                                return cv::contourArea(a) < cv::contourArea(b);
                                            });
	
	//	**轮廓面积过滤**：在找到轮廓之后，可以排除那些面积过小的轮廓。这样可以减少不必要的小轮廓对整体结果的影响。
	if (cv::contourArea(*largest_contour) < 10) {
		return cv::Rect();
	}

// **轮廓形状过滤**：除了面积外，还可以考虑其他形状特征，如轮廓宽高比。这样可以排除一些不规则的轮廓，从而提高准确性。
	cv::Rect bounding_box = cv::boundingRect(*largest_contour);
	float aspect_ratio = static_cast<float>(bounding_box.width) / bounding_box.height;
	if (aspect_ratio < 0.2 || aspect_ratio > 3) {
		return cv::Rect();
	}

// **轮廓稳定性检测**：
	// 通过比较当前帧和之前几帧的轮廓位置来判断轮廓的稳定性。
	// 如果多帧之间的轮廓位置变化较小，则可以认为轮廓比较稳定，不需要进行过多的调整。
	static std::vector<cv::Rect> prev_bounding_boxes;
	if (prev_bounding_boxes.size() > 5) {
		prev_bounding_boxes.erase(prev_bounding_boxes.begin());
	}
	prev_bounding_boxes.push_back(bounding_box);
	if (prev_bounding_boxes.size() == 5) {
		float avg_width = 0.0;
		float avg_height = 0.0;
		for (const auto& box : prev_bounding_boxes) {
			avg_width += box.width;
			avg_height += box.height;
		}
		avg_width /= prev_bounding_boxes.size();
		avg_height /= prev_bounding_boxes.size();
		float width_diff = std::abs(bounding_box.width - avg_width) / avg_width;
		float height_diff = std::abs(bounding_box.height - avg_height) / avg_height;
		if (width_diff > 0.1 || height_diff > 0.1) {
			return cv::Rect();
		}
	}
	// 对图像边框每个方向扩大15个像素
	bounding_box.x = std::max(0, bounding_box.x - 15);
	bounding_box.y = std::max(0, bounding_box.y - 15);
	bounding_box.width = std::min(image.cols - bounding_box.x, bounding_box.width + 30);
	bounding_box.height = std::min(image.rows - bounding_box.y, bounding_box.height + 30);

// 返回最大轮廓的边界框
	return bounding_box;
}

// 预处理数字区域
cv::Mat preprocess_digit_region(const cv::Mat ®ion)
{
	// 将图像转换为灰度图像，然后调整大小为28x28，最后将像素值归一化为0到1之间的浮点数
	cv::Mat gray, resized, bitwized, normalized;
	cv::cvtColor(region, gray, cv::COLOR_BGR2GRAY);
	
	// 扩大图像中的数字轮廓，使其更容易识别
	cv::threshold(gray, gray, 0, 255, cv::THRESH_BINARY | cv::THRESH_OTSU);

// 调整图像颜色，将图像颜色中低于127的像素值设置为0，高于200的像素值设置为255
	cv::threshold(gray, gray, 127, 255, cv::THRESH_BINARY_INV);

// 对图像黑白进行反转，黑色变成白色，白色变成黑色
	cv::bitwise_not(gray, bitwized);
	// 手动实现黑白反转
	for (int i = 0; i < bitwized.rows; i++)
	{
		for (int j = 0; j < bitwized.cols; j++)
		{
			bitwized.at<uchar>(i, j) = 255 - bitwized.at<uchar>(i, j);
		}
	}

// 将图片大小调整为28x28，图片形状不发生畸变，过短的部分使用黑色填充
	cv::resize(bitwized, resized, cv::Size(28, 28), 0, 0, cv::INTER_AREA);

return resized;
}

```

增加将量化的INT8数据转换为浮点数
```

// 将量化的INT8数据转换为浮点数
// Parameters:
//   qnt: 量化后的整数数据
//   zp: 零点（zero point）值，用于零点偏移（zero-point offset）
//   scale: 缩放因子，用于缩放量化后的整数数据到浮点数范围
// Returns:
//   浮点数，表示经过反量化（dequantization）后的数据
static float deqnt_affine_to_f32(int8_t qnt, int32_t zp, float scale) { return ((float)qnt - (float)zp) * scale; }

```

增加后处理：
```
// 将模型输出进行归一化，并计算输出的概率分布
// Parameters:
//   output_attrs: 输出张量属性，包含了零点（zero point）值和缩放因子等信息
//   output: 模型输出的数据，以INT8格式存储
//   out_fp32: 存储归一化后的浮点数输出数据
static void output_normalization(rknn_tensor_attr* output_attrs, uint8_t *output, float *out_fp32)
{
    int32_t zp =  output_attrs->zp;
    float scale = output_attrs->scale;

// 将INT8格式的输出数据进行反量化为浮点数，并进行存储
    for(int i = 0; i < 10; i ++)
        out_fp32<i> = deqnt_affine_to_f32(output<i>,zp,scale);

// 计算输出数据的L2范数
    float sum = 0;
    for(int i = 0; i < 10; i++)
        sum += out_fp32<i> * out_fp32<i>;
    
	// 对归一化后的浮点数输出进行归一化处理，确保输出数据的范围在[0,1]之间
	float norm = sqrt(sum);
    for(int i = 0; i < 10; i++)
        out_fp32<i> /= norm; 
	
	// 打印输出数据的值
	printf("\n===================Output data values:===================\n");
	for (int i = 0; i < 10; ++i)
	{
		printf("%f ", out_fp32<i>);
	}
	printf("\n");

// 找出最大概率对应的数字，并记录最大概率及其对应的数字
	float max_prob = -1.0;
	int predicted_digit = -1;
	// 计算最大值的索引
	for (int i = 0; i < 10; ++i)
	{
		if (out_fp32<i> > max_prob)
		{
			max_prob = out_fp32<i>;
			predicted_digit = i;
		}
	}
	// 将预测的数字及其对应的概率记录到队列中
	predictions_queue.push_back({predicted_digit, max_prob});

// 打印预测的数字与其对应的概率
	printf("========Predicted digit: %d, Probability: %.2f========\n\n", predicted_digit, max_prob);
}
```
# 最终演示：

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811080_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-09h45m51s252.png</strong> <em class="xg1">(132.53 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811080" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811080&handlekey=savephoto_811080">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

视频演示：
可以看到这个版本比上个版本稳定很多。

<div id="player_668efdd254b7a0c7f8735129b1c0a64c1" class="localvideo-box"></div><div class="localvideo-title">vlc-record-2024-05-24-09h48m02s-rtsp___172.32.0.93_live_0-</div><br/>

识别率测试：
将识别率获取增加到代码中，下面是测试结果，可以看到识别率大约60%左右。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811088_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h01m46s972.png</strong> <em class="xg1">(154.12 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811088" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811088&handlekey=savephoto_811088">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811089_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h14m08s475.png</strong> <em class="xg1">(119.99 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811089" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811089&handlekey=savephoto_811089">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811090_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h04m34s282.png</strong> <em class="xg1">(116.4 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811090" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811090&handlekey=savephoto_811090">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811091_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h05m45s612.png</strong> <em class="xg1">(121.64 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811091" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811091&handlekey=savephoto_811091">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811092_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h06m35s733.png</strong> <em class="xg1">(140.57 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811092" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811092&handlekey=savephoto_811092">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811093_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h07m06s019.png</strong> <em class="xg1">(116.49 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811093" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811093&handlekey=savephoto_811093">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811094_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h08m20s453.png</strong> <em class="xg1">(135.87 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811094" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811094&handlekey=savephoto_811094">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811095_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h08m32s146.png</strong> <em class="xg1">(140.51 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811095" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811095&handlekey=savephoto_811095">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811096_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h10m26s584.png</strong> <em class="xg1">(118.79 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811096" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811096&handlekey=savephoto_811096">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_811097_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>vlcsnap-2024-05-24-10h09m13s504.png</strong> <em class="xg1">(109.66 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_811097" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=811097&handlekey=savephoto_811097">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

# 代码提交
代码放到了github仓库中，有兴趣的朋友看看

https://github.com/knva/luckfox_pico_rtsp_opencv

单独识别图片的

https://github.com/knva/luckfox_pico_rknn_test

nmg

嗨，knv，咱们这个活动，结果至少要做一下分析，才能更方便大伙给进一步调整优化，得出一个具体的结果，比如：

你说的识别率很差，首先需要定位一下是分割的问题还是模型的问题，先确定分割相关的一些指标有没有问题，这些需要给出来，分割确定没问题的话，就看模型了。

最后要给出具体识别率是多少，哪个识别错了，把什么识别成什么了，还是所有数字都识别不出来，视频演示闪烁的太快很难看清楚识别的情况。

不要求你识别率一定要达到多少，但至少要有基本的分析数据出来。期待继续再完善完善哈~

aramy

大佬：求助！按您这个流程跑下来。提示：E RKNN: failed to decode config data!

求指导！谢谢！

wangerxian

不错啊，这个流程很详细了！

knv

aramy 发表于 2024-5-22 16:40 大佬：求助！按您这个流程跑下来。提示：E RKNN: failed to decode config data! 求指导！谢 ...

将编译后生成的

链接已隐藏，如需查看请登录或者注册

目录下面的 lib也复制到开发板运行目录中，再尝试运行

慕容雪花

谢谢谢谢，感谢分享！受益匪浅

#AI挑战营终点站#将模型部署到RV1106中通过摄像头采集进行手写数字识别 [复制链接]

最新回复

点评

浏览过的版块