CMake构建实战读书笔记07-手写数字识别项目实践与分析

DDZZ669

CMake构建实战读书笔记07-手写数字识别项目实践与分析 [复制链接]

本篇，来学习《CMake构建实战》的实践项目——基于onnxruntime的手写数字识别库。

上篇文章，先介绍过了对onnxruntime库中文件的查找，可以回顾下上篇内容。

# 1 项目结构

项目的功能，是利用mnist.onnx手写数字识别库，来实现对图片中手写数字的识别。

- num_recohnizer.cpp、num_recohnizer.h：实现一些对mnist库的初始化与识别调用接口
- recognize.c：编写一个main函数来实现对待识别图片的参数接收、对识别接口的调用，以及识别结果的打印
- Findlibpng.cmake、Findonnxruntime.cmake：辅助CMake来查找libpng库和onnx库中的功能模块
- CMakeLists.txt：对整个项目进行编译构建的组织文件

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_858096" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=858096&handlekey=savephoto_858096">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

# 2 安装zlib和linpng

此项目需要用到zlib和linpng库，因此需要先安装这两个库。

## 2.1 安装zlib

去github仓库 https://github.com/madler/zlib 下载zlib的源码，然后编译安装：

```sh
cd zlib
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=Release ..
cmake --build . --config Release
sudo cmake --install .
```

## 2.2 安装libpng

去github仓库 https://github.com/pnggroup/libpng 下载libpng的源码，然后编译安装：

```sh
cd libpng
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=Release ..
cmake --build . --config Release
sudo cmake --install .
```

## 2.3 安装onnx

上篇文章已介绍过。

# 3 升级CMake版本

之前通过Ubuntu的apt install安装的CMake的默认版本是3.16.3，按照书中步骤，编译该项目时，首先会提示版本不够，要3.20以上的。

如果直接修改项目代码中对CMake版本的要求，又会报其它错误。

为了能顺利编译项目，就选择了重新安装更高版本的CMake。

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_858097" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=858097&handlekey=savephoto_858097">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

可以先确认下当前的CMake版本，然后通过apt remove指令来卸载CMake，并确认卸载完成：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_858098" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=858098&handlekey=savephoto_858098">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

然后下载更高版本的CMake源码，进行编译安装，目前安装的是3.30.5版本：

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_858099" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=858099&handlekey=savephoto_858099">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

# 4 项目代码分析

在编译代码前，可以先来分析下项目代码。

## 4.1 num_recognizer

实现一些对mnist库的初始化与识别调用接口。

### 4.1.1 num_recognizer.h

头文件是声明一些对mnist库进行操作的接口。

这里只列举其中定义的接口名称

```h
//! <a href="https://bbs.eeworld.com.cn/home.php?mod=space&uid=159083" target="_blank">@brief</a> 初始化手写数字识别库
NUM_RECOGNIZER_EXPORT void num_recognizer_init();

//! @brief 创建识别器
NUM_RECOGNIZER_EXPORT void num_recognizer_create(const char *model_path,
                 Recognizer **out_recognizer);
//! @brief 析构识别器
NUM_RECOGNIZER_EXPORT void num_recognizer_delete(Recognizer *recognizer);

//! @brief 识别图片数据中的手写数字
NUM_RECOGNIZER_EXPORT int num_recognizer_recognize(Recognizer *recognizer,
                 float *input_image,
                 int *result);
//! @brief 识别PNG图片中的手写数字
NUM_RECOGNIZER_EXPORT int num_recognizer_recognize_png(Recognizer *recognizer,
                   const char *png_path,
                   int *result);
```

###4.1.2 num_recognizer.cpp

cpp文件是具体实现的内容，这里定义了输入图片的宽高要求（28x28像素）。

- num_recognizer_recognize_png函数实现对png图片的读取和预处理
- num_recognizer_init和num_recognizer_create来初始化和创建一个识别器
- num_recognizer_recognize函数通过创建的识别器来进行数字识别

```c++
static const char *INPUT_NAMES[] = {"Input3"}; // 模型输入参数名
static const char *OUTPUT_NAMES[] = {"Plus214_Output_0"}; // 模型输出参数名
static constexpr int64_t INPUT_WIDTH = 28;// 模型输入图片宽度
static constexpr int64_t INPUT_HEIGHT = 28; // 模型输入图片高度
static const std::array<int64_t, 4> input_shape{
  1, 1, INPUT_WIDTH, INPUT_HEIGHT}; // 输入数据的形状（各维度大小）
static const std::array<int64_t, 2> output_shape{
  1, 10}; // 输出数据的形状（各维度大小）

static Ort::Env env{nullptr};      // onnxruntime环境
static Ort::MemoryInfo memory_info{nullptr}; // onnxruntime内存信息

//! @brief 手写数字识别类
struct Recognizer 
{
  Ort::Session session; //! @brief onnxruntime会话
};

//! @brief 将byte类型的颜色值转换为模型接受的二值化后的float类型数值
static float byte2float(png_byte b) { return b < 128 ? 1 : 0; }

//! @brief 获取png图片指定像素的二值化后的float类型颜色值
static float get_float_color_in_png(unsigned int x, unsigned int y,
            png_uint_32 png_width,
            png_uint_32 png_height, png_byte color_type,
            png_bytepp png_data) 
{
  if (x >= png_width || x < 0)
  return 0;
  if (y >= png_height || y < 0)
  return 0;

switch (color_type) 
  {
  case PNG_COLOR_TYPE_RGB:
  {
    auto p = png_data[y] + x * 3;
    return byte2float((p[0] + p[1] + p[2]) / 3);
  } break;
  case PNG_COLOR_TYPE_RGBA: 
  {
    auto p = png_data[y] + x * 4;
    return byte2float((p[0] + p[1] + p[2]) * p[3] / 3);
  } break;
  default:
    return 0;
  }
};

void num_recognizer_init() 
{
  env = Ort::Env{static_cast<const OrtThreadingOptions *>(nullptr)};
  memory_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeCPU);
}

void num_recognizer_create(const char *model_path, Recognizer **out_recognizer) 
{
  Ort::Session session{nullptr};
  session = Ort::Session(env, model_path, Ort::SessionOptions(nullptr));

*out_recognizer = new Recognizer{std::move(session)};
}

void num_recognizer_delete(Recognizer *recognizer) 
{ 
  delete recognizer; 
}

int num_recognizer_recognize(Recognizer *recognizer, float *input_image, int *result) 
{

std::array<float, 10> results{};

auto input_tensor = Ort::Value::CreateTensor<float>(
  memory_info, input_image, INPUT_WIDTH * INPUT_HEIGHT,
  input_shape.data(), input_shape.size());

auto output_tensor = Ort::Value::CreateTensor<float>(
  memory_info, results.data(), results.size(), output_shape.data(),
  output_shape.size());

recognizer->session.Run(Ort::RunOptions{nullptr}, INPUT_NAMES,
          &input_tensor, 1, OUTPUT_NAMES, &output_tensor, 1);

*result = static_cast<int>(std::distance(
  results.begin(), std::max_element(results.begin(), results.end())));

return 0;
}

int num_recognizer_recognize_png(Recognizer *recognizer, const char *png_path, int *result) 
{
  int ret = 0;
  std::array<float, INPUT_WIDTH * INPUT_HEIGHT> input_image;
  FILE *fp;
  unsigned char header[8];
  png_structp png_ptr;
  png_infop info_ptr;
  png_uint_32 png_width, png_height;
  png_byte color_type;
  png_bytep *png_data;

// 打开PNG图片文件
  fp = fopen(png_path, "rb");
  if (!fp) {
  ret = -2;
  goto exit3;
  }

// 读取PNG图片文件头
  fread(header, 1, 8, fp);
  // 验证文件头确实是PNG格式的文件头
  if (png_sig_cmp(reinterpret_cast<unsigned char *>(header), 0, 8)) {
  ret = -3;
  goto exit2;
  }

// 创建PNG指针数据结构
  png_ptr = png_create_read_struct(PNG_LIBPNG_VER_STRING, nullptr, nullptr,
             nullptr);
  if (!png_ptr) {
  ret = -4;
  goto exit2;
  }

// 创建PNG信息指针数据结构
  info_ptr = png_create_info_struct(png_ptr);
  if (!info_ptr) {
  ret = -5;
  goto exit2;
  }

// 设置跳转以处理异常
  if (setjmp(png_jmpbuf(png_ptr))) {
  ret = -6;
  goto exit2;
  }

// 初始化PNG文件
  png_init_io(png_ptr, fp);
  png_set_sig_bytes(png_ptr, 8);

// 读取PNG信息
  png_read_info(png_ptr, info_ptr);
  png_width = png_get_image_width(png_ptr, info_ptr); // PNG图片宽度
  png_height = png_get_image_height(png_ptr, info_ptr); // PNG图片高度
  color_type = png_get_color_type(png_ptr, info_ptr); // PNG图片颜色类型

// 设置跳转以处理异常
  if (setjmp(png_jmpbuf(png_ptr))) {
  ret = -7;
  goto exit2;
  }

// 读取PNG的数据
  png_data = (png_bytep *)malloc(sizeof(png_bytep) * png_height);
  for (unsigned int y = 0; y < png_height; ++y) {
  png_data[y] = (png_byte *)malloc(png_get_rowbytes(png_ptr, info_ptr));
  }
  png_read_image(png_ptr, png_data);

// 将PNG图片重新采样，缩放到模型接受的输入图片大小
  for (unsigned int y = 0; y < INPUT_HEIGHT; ++y) {
  for (unsigned int x = 0; x < INPUT_WIDTH; ++x) {
    float res = 0;
    int n = 0;
    for (unsigned int png_y = y * png_height / INPUT_HEIGHT;
     png_y < (y + 1) * png_height / INPUT_HEIGHT; ++png_y) {
      for (unsigned int png_x = x * png_width / INPUT_WIDTH;
       png_x < (x + 1) * png_width / INPUT_WIDTH; ++png_x) {
      res += get_float_color_in_png(png_x, png_y, png_width,
                png_height, color_type,
                png_data);
      ++n;
      }
    }
    input_image[y * INPUT_HEIGHT + x] = res / n;
  }
  }

// 识别图片数据中的手写数字
  ret = num_recognizer_recognize(recognizer, input_image.data(), result);

exit1:
  // 释放存放PNG图片数据的内存空间
  for (unsigned int y = 0; y < png_height; ++y) {
  free(png_data[y]);
  }
  free(png_data);

exit2:
  // 关闭文件
  fclose(fp);

exit3:
  return ret;
}
```

## 4.2 recognize.c

编写一个main函数来实现对待识别图片的参数接收、对识别接口的调用，以及识别结果的打印。

因为是在命令中实现对手写图片的识别，该代码文件也可能称作一个命令行工具。

该代码的功能是通过命令行参数，传入要识别的图片，然后初始化并创建一个识别器，调用num_recognizer_recognize_png来进行数字识别，识别的结果在命令行中打印出来。

```c
#include <num_recognizer.h>
#include <stdio.h>

int main(int argc, const char **argv) {
  // 检查命令行参数个数是否为3个
  if (argc != 3) {
  printf("Usage: recognize mnist.onnx 3.png\n");
  return -1; // 返回错误码-1
  }

int ret = 0;    // 返回码
  int result = -1;  // 识别结果
  Recognizer *recognizer; // 识别器指针

num_recognizer_init(); // 初始化识别器

// 使用模型文件创建识别器，argv[1]即模型文件路径
  num_recognizer_create(argv[1], &recognizer);

// 识别图片文件中的手写数字，argv[2]即图片文件路径
  if (ret = num_recognizer_recognize_png(recognizer, argv[2], &result)) {
  // 返回值非0，识别过程发生错误
  printf("Failed to recognize\n");
  goto exit_main;
  }

printf("%d\n", result); // 输出识别结果

exit_main:
  num_recognizer_delete(recognizer); // 析构识别器
  return ret;        // 返回正常退出的返回码0
}
```

## 4.3 CMakeLists.txt

最后开看下CMakeLists.txt文件，开头是指定CMake的最低版本和项目名称

然后通过set指令设置一些变量：

- 设置CMAKE_MODULE_PATH
- 设置CMAKE_CXX_STANDARD为C++11标准
- 设置onnx_version版本
- 设置onnxruntime_ROOT的目录

然后通过find_package查找要用的库

- 查找onnxruntime
- 查找libpng

接着构建num_recognizer动态库目标

- add_library创建动态库目标
- 引用GenerateExportHeader模块，调用其generate_export_header命令来为动态库生成导出头文件
- set_target_properties设置该动态库的两个属性：默认隐藏符号并仅导出显式指定的符号

最后是构建可执行文件recognize

- add_executable创建目标
- target_link_libraries指定要链接的库

```cmake
cmake_minimum_required(VERSION 3.20)

project(num_recognizer)

list(APPEND CMAKE_MODULE_PATH "${CMAKE_SOURCE_DIR}/cmake")
set(CMAKE_CXX_STANDARD 11) # 设置C++标准为11
set(onnx_version 1.10.0) # 根据下载的版本进行设置，本例使用1.10.0版本

# 请下载onnxruntime库的压缩包，并解压至该目录中
if("$ENV{onnxruntime_ROOT}" STREQUAL "")
if(WIN32)
  set(ENV{onnxruntime_ROOT} "${CMAKE_CURRENT_LIST_DIR}/onnxruntime-win-x64-${onnx_version}")
elseif(APPLE)
  set(ENV{onnxruntime_ROOT} "${CMAKE_CURRENT_LIST_DIR}/onnxruntime-osx-universal2-${onnx_version}")
else()
  set(ENV{onnxruntime_ROOT} "${CMAKE_CURRENT_LIST_DIR}/onnxruntime-linux-x64-${onnx_version}")
endif()
endif()

find_package(onnxruntime 1.10 REQUIRED) # 指定依赖的最小版本
find_package(libpng REQUIRED)

add_library(num_recognizer SHARED src/num_recognizer.cpp)

include(GenerateExportHeader)
generate_export_header(num_recognizer)
set_target_properties(num_recognizer PROPERTIES
CXX_VISIBILITY_PRESET hidden
VISIBILITY_INLINES_HIDDEN 1
)

target_include_directories(num_recognizer PUBLIC include ${CMAKE_BINARY_DIR})
target_link_libraries(num_recognizer PRIVATE onnxruntime::onnxruntime png_shared)
target_compile_definitions(num_recognizer PRIVATE ORT_NO_EXCEPTIONS num_recognizer_EXPORTS)

add_executable(recognize cli/recognize.c)
target_link_libraries(recognize PRIVATE num_recognizer)
```

# 5 项目运行测试

编译指令如下：

```sh
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=Debug ..
cmake --build . --config Debug
```

编译完成之后，会生成一个recognize可执行文件，然后调用该文件即可来进行手写数字图片的数字识别：

```sh
./build/recognize ./models/mnist.onnx 2.png
```

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_858100" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=858100&handlekey=savephoto_858100">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

可以看到，正确的识别到了图片中的数字2、3、4。

# 6 总结

本篇学习了《CMake构建实战》的实践项目——基于onnxruntime的手写数字识别库，首先进行编译环境的配置，包括依赖库的安装，CMake版本的升级等，然后对项目代码进行了分析，最后进行项目的编译运行测试。

Jacktang

编译环境的配置，依赖库的安装，包括CMake版本的升级等，再对项目代码进行分析，这个思路很清晰哈，总结的到位

CMake构建实战读书笔记07-手写数字识别项目实践与分析 [复制链接]

最新回复