Leez AI局域网物体检测

Jacktang

Leez AI局域网物体检测 [复制链接]

1 常见的物联网AI计算模式

目前，物联网AI物体检测技术已经非常成熟了，它的计算模式只要有两种，一种是用云端来完成AI计算再把结果发回给终端，一种是直接在终端设备上做边缘计算。

终端上做边缘计算对设备的计算性能要求比较高，于是谷歌推出了Edge TPU，可以以较低的延迟完成AI计算。如果手头没有Edge TPU，也可以使用ARM处理器来跑，就是速度慢很多，不能实时检测。

在云端计算领域，百度AI推出了EasyDL物体检测服务。在这种计算架构下，终端设备的计算量非常小。终端设备只需要负责图像采集，然后把图像发给云端，所有的AI计算都在云端完成，然后云端再把计算结果还给终端设备。

但是，云计算模式也有缺点，那就是带宽和数据延迟。云服务器实际上就是机房的虚拟主机，每台主机的共享网络带宽是受限的；然后，虚拟主机与你隔了几万里，中间又隔了好多个路由器；它距离你的设备越远，网络延迟也就越大。

2 局域网AI计算

如果使用网络计算模式，有没有方法减少这种延迟呢？
很简单，把计算服务器布置在本地就好了。

技术上，我可以给桌面台式机编写一个程序把它变成计算服务器，让它处理来自LeezP710的图像，然后用低延迟的UDP协议发送回去。另外，要注意WIFI转发的延迟也很大，所以尽量使用千兆以太网。正好，我手头这块Leez P710开发板和我的桌面台式机都带有千兆网络接口。

这个开发需求，对我们这种linux老司机来说，非常简单，一晚上就能把功能实现。

是展示真正的技术的时候啦！

3 功能实现

我很快就把猫咪检测的demo做出来了，而且还是个通用度很高、可维护性很好的代码，稍加修改就可变成检测人、狗或车辆的。
程序我都会开源到github，不管你学或不学，学得会或学不会，我的开源方案全套源代码都在那里。

3.1 终端设备

Leez P710上面开启了两个程序，一个是mjpg streamer，把USB摄像头捕获的图像发给局域网的计算服务器。另一个是我编写的clouddetec客户端程序。这两个程序都不涉及AI计算，所以可以跑得飞快。

其中，mjpg streamer来自开源项目，用于实现Leez P710的USB摄像头图像采集，安装方法见我另一篇帖子《USB摄像头填坑记》

LeezP710启动网络视频流的脚本如下

1. mjpg_streamer -o "output_http.so -w ./www" -i "input_uvc.so -d /dev/video8 -r 640x480 -f 30"

我编写的clouddetec客户端程序的代码如下。

1. #include <iostream>
2. #include <string.h>
3. #include <stdio.h>
4. #include <stdlib.h>
5. #include "opencv2/opencv.hpp"
6.  
7. #include <sys/types.h>
8. #include <sys/socket.h>
9. #include<pthread.h>
10. #include <netinet/in.h>
11. #include <unistd.h>
12. #include <time.h>
13. #include <arpa/inet.h>
14. #include <netdb.h>
15. #include <errno.h>
16. using namespace cv;
17. using namespace std;
18.  
19. int main()
20. {
21. Mat frame;
22. VideoCapture cap("http://192.168.1.103:8080/?action=stream");
23. char filename[256];
24. int i;
25.  
26. struct sockaddr_in addr;
27. addr.sin_family = AF_INET;
28. addr.sin_port = htons(6000);
29. addr.sin_addr.s_addr = htonl(INADDR_ANY);
30. int sock;
31. sock = socket(AF_INET, SOCK_DGRAM, 0);
32. bind(sock, (struct sockaddr *)&addr, sizeof(addr));
33.  
34. char buff[64];
35. struct sockaddr_in clientAddr;
36. int n;
37. unsigned int len = sizeof(clientAddr);
38.  
39.  
40.  
41. while (1)
42. {
43. n = recvfrom(sock, buff, 64, 0, (struct sockaddr*)&clientAddr, &len);
44. if (n > 0)
45. {
46. char *tmpi = (char*)buff;
47. printf("%s %u says: %c %c %c\n", inet_ntoa(clientAddr.sin_addr), ntohs(clientAddr.sin_port), tmpi[0], tmpi[1], tmpi[2]);
48. i++;
49. cap >> frame;
50. sprintf(filename, "/mnt/ud/detec/%06d.jpg", i);
51. imwrite(filename, frame);
52. }
53. }
54.  
55. return 0;
56. }

以上代码的运行过程是这样的。LeezP710使用opencv捕获自己的网络视频流，但不对图像做任何处理。P710实时侦听6000号端口的UDP数据。服务端检测到猫咪图像后会给P710发送数据。P710收到后才知道检测到猫了，于是把当前的图像保存成jpg图片，放到detec文件夹下。

3.2 云端计算服务

服务端软件opencvudp，是个windows程序，需要用VisualStudio编译，OpenCV用的是带DNN模块的4.1.0版本，代码如下

1. #include "stdafx.h"
2. #include "opencv2/opencv.hpp"
3. #include <opencv2/dnn/dnn.hpp>
4.  
5. #include <iostream>
6. #include <string>
7.  
8.  
9. #include <WS2tcpip.h>
10. #include <WINSOCK2.H>
11.  
12. #include <process.h>
13. #pragma comment(lib,"ws2_32.lib")
14. using namespace cv;
15. using namespace std;
16. using namespace dnn;
17.  
18.  
19. int main()
20. {
21. ////加载套接字库
22. WORD wVersionRequested;
23. WSADATA wsaData;
24. int err;
25. wVersionRequested = MAKEWORD(2, 2);
26. err = WSAStartup(wVersionRequested, &wsaData);
27. //创建套接字
28. SOCKET sockClient = socket(AF_INET, SOCK_DGRAM, 0);
29. SOCKADDR_IN addrServer;
30. inet_pton(AF_INET, "192.168.1.103", (PVOID *)(&addrServer.sin_addr.S_un.S_addr));
31. addrServer.sin_family = AF_INET;
32. addrServer.sin_port = htons(6000);
33.  
34. char *Buff = new char [3];//UDP发送的char
35.  
36. String prototxt = "MobileNetSSD_deploy.prototxt";
37. String caffemodel = "MobileNetSSD_deploy.caffemodel";
38.  
39. Net net = readNetFromCaffe(prototxt, caffemodel);
40.  
41. const char* classNames[] = { "background", "aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair",
42. "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor" };
43.  
44. float detect_thresh = 0.10;
45. VideoCapture cap("http://192.168.1.103:8080/?action=stream;dummy=param.mjpg");
46. //if (!cap.isOpened()) return -1;
47. Mat frame;
48. int xLeftBottom ;
49. int yLeftBottom ;
50. int xRightTop ;
51. int yRightTop ;
52. while (true)
53. {
54. cap >> frame;
55. if (frame.empty()) break;
56. clock_t start_t = clock();
57. net.setInput(blobFromImage(frame, 1.0 / 127.5, Size(300, 300), Scalar(127.5, 127.5, 127.5), false, false));
58. Mat cvOut = net.forward();
59. cout << "Cost time: " << clock() - start_t << endl;
60. Mat detectionMat(cvOut.size[2], cvOut.size[3], CV_32F, cvOut.ptr<float>());
61. for (int i = 0; i < detectionMat.rows; i++)
62. {
63. int obj_class = detectionMat.at<float>(i, 1);
64. float confidence = detectionMat.at<float>(i, 2);
65.  
66. if (confidence > detect_thresh)
67. {
68. size_t objectClass = (size_t)(detectionMat.at<float>(i, 1));
69.  
70. xLeftBottom = static_cast<int>(detectionMat.at<float>(i, 3) * frame.cols);
71. yLeftBottom = static_cast<int>(detectionMat.at<float>(i, 4) * frame.rows);
72. xRightTop = static_cast<int>(detectionMat.at<float>(i, 5) * frame.cols);
73. yRightTop = static_cast<int>(detectionMat.at<float>(i, 6) * frame.rows);
74.  
75. ostringstream ss;
76. int tmpI = 100 * confidence;
77. ss << tmpI;
78. //ss << confidence;
79. String conf(ss.str());
80.  
81. Rect object((int)xLeftBottom, (int)yLeftBottom,
82. (int)(xRightTop - xLeftBottom),
83. (int)(yRightTop - yLeftBottom));
84. if (classNames[objectClass] == "cat")
85. {
86. rectangle(frame, object, Scalar(0, 0, 255), 2);
87. //String label = String(classNames[objectClass]) + ": " + conf;
88. //String label = String(classNames[objectClass]);
89. String label = String(classNames[objectClass]) + ": " + conf + "%";
90. //putText(image, label, Point(xLeftBottom, yLeftBottom - 10), 3, 1.0, Scalar(0, 0, 255), 2);
91. putText(frame, label, Point(xLeftBottom, yLeftBottom + 30), 3, 1.0, Scalar(0, 0, 255), 2);
92.  
93. Buff[0] = 'C';//这是给UDP的buff
94. Buff[1] = 'A';
95. Buff[2] = 'T';
96.  
97. printf("%c %c %c\n", Buff[0], Buff[1], Buff[2]);
98. //要发送的字符串
99. char *charBuff = (char *)Buff;//把数组变成char数组
100. //UDP发送char数组
101. sendto(sockClient, charBuff, strlen(charBuff) + 1, 0, (SOCKADDR*)&addrServer, sizeof(SOCKADDR));
102. }
103. }
104. }
105. imshow("test", frame);
106. if (cv::waitKey(1) > 1) break;
107. }
108. return 0;
109. }

它的运行过程是这样的。OpenCV捕获来自P710的mjpg stream视频流的图像，通过mobileNet SSD检测图像是否有猫咪。如果检测到有猫，就通过UDP给P710一个反馈信息。反馈信息是个字符数组CAT。服务端还开启了一个监视窗口，可以观察实时的检测图像。

3.3 代码开源地址

4 功能验证

先在计算服务器的windows系统下把服务端程序编译出来并运行。我们在手机上显示一张猫咪的照片，然后把照片给P710的摄像头看。服务端捕获P710的网络图像数据，并成功检测到了猫，然后通过UDP协议给P710发回了数据。测试截图如下：

在P710上编译客户端程序并运行。当接收到来自计算服务器检测到猫咪的数据后，P710会打印调试信息显示接收到的字符数组CAT，并把当前的图像保存成文件。

下图是detec文件夹下，P710保存的文件，可以看到照片上确实有猫。

5 小结

今天设计了这个局域网的低延迟的物联网计算方案。该方案其实都是基于最普通最成熟的互联网技术，只是被用在物联网上，所以变成了看似高深的internet of things技术。
这篇文章的重点是在软件开发，而不是在具体的硬件。因为网络技术本身是通用的，并不用局限于linux或windows，也不局限于桌面X86还是嵌入式设备。项目里所使用的硬件设备，桌面台式电脑、P710嵌入式小电脑，只是用来跑程序的载体罢了。