本帖最后由 iexplore123 于 2024-12-27 01:54 编辑
【Follow me第二季第4期】 通过IMU数据结合机器学习算法,识别运动状态,并通过串口打印
任务概述
在这个任务中,我们将使用Edge Impulse平台构建机器学习模型,通过IMU数据识别运动状态,并串口打印。
任务二中我们已经读取了nano RP2040 Connect板载的IMU传感器(LSM6DSOX)的六轴原始数据,它包含三轴加速度计和三轴陀螺仪的数据,可以用于运动检测和姿态跟踪。接下来我们将采集IMU数据构建数据集,并使用简单的分类模型
Edge Impulse
Edge Impulse是一个端到端的开发平台,可以帮助开发者快速构建、部署和管理嵌入式机器学习模型。Edge Impulse提供在线开发工具,包括数据采集、特征提取、模型训练和部署功能,支持多种硬件平台和开发环境,适合嵌入式开发者和机器学习爱好者低门槛地进行机器学习模型开发。
使用Edge Impulse构建机器学习模型
注册Edge Impulse账号,创建一个新项目。
我创建的项目名为RP2040
,项目是公开的,可以在https://studio.edgeimpulse.com/public/586314/live查看。
项目界面如下:
左边是项目导航栏,仪表盘(Dashboard)显示项目的概览信息,数据(Data Acquisition)提供数据采集和标注功能,Impulse Design栏目是我们的重头戏,包括特征提取、模型训练和验证等功能,Deployment栏目提供模型部署功能。
- 数据采集
Edge Impulse Studio提供了数据采集功能,可以通过Web浏览器采集数据。Edge Impulse Studio提供了nano RP2040 Connect的官方固件,可以直接在板子上运行固件与web端连接,采集数据。
Edge Impluse提供的RP2040固件(UF2)下载地址:https://cdn.edgeimpulse.com/firmware/raspberry-rp2040.zip
该固件源码仓库:https://github.com/edgeimpulse/firmware-pi-rp2040
确保刷上固件后,就可以通过WebUSB连接到网页端直接采集数据啦。我们这里在Sensor下拉菜单中选择Inertial
,即IMU传感器,填写数据标签,点击Start sampling
采集数据。我在这里录入了五种动作的数据:静止
,画圈
,上下摆动
,左右摆动
,挥舞
,每种动作划分了12条数据(其中两条作为测试集),每条数据持续5秒,共计60条数据。
- 设计Impulse
数据采集完成后,我们就可以进行特征提取、模型训练和验证了。Edge Impulse Studio提供了多种特征提取器和模型,我们可以根据数据特点选择合适的特征提取器和模型。在这里我们选择
Spectral features
特征提取器和Classification
分类模型,特征提取器提取频谱特征,分类模型进行动作分类。
接下来我们在Spectral features下设置参数,然后点击Save Impulse
保存。
生成特征后我们发现录入的五种动作的数据在频谱特征下有明显的区分度,接下来我们就可以训练模型了。
我们直接使用默认的神经网络参数,点击Save & train
开始训练模型。训练完成后我们可以查看模型的准确率和混淆矩阵。
训练完的模型我们也可以直接在网页上进行模型效果的实时验证,连接开发板进行在线采样后模型在线进行推理并给出结果。
- 部署模型
模型训练完成后,我们可以部署模型到nano RP2040 Connect板子上。Edge Impulse可以将模型导出为各种常用的库类型。点击Deployment
栏目,选择Arduino Library
,然后点击Build
编译模型库。编译完成后,我们可以下载模型库,然后在Arduino IDE中导入库,库中包含简单的示例代码,编译烧录rp2040_fusion
即可在板子上运行改模型。
代码实现(rp2040_fusion)
#include <RP2040_inferencing.h>
#include <Arduino_LSM6DSOX.h>
enum sensor_status {
NOT_USED = -1,
NOT_INIT,
INIT,
SAMPLED
};
typedef struct{
const char *name;
float *value;
uint8_t (*poll_sensor)(void);
bool (*init_sensor)(void);
int8_t status;
} eiSensors;
#define CONVERT_G_TO_MS2 9.80665f
#define MAX_ACCEPTED_RANGE4.0f
#define N_SENSORS 7
float ei_get_sign(float number);
static bool ei_connect_fusion_list(const char *input_list);
bool init_IMU(void);
uint8_t poll_acc(void);
uint8_t poll_gyr(void);
uint8_t poll_mag(void);
uint8_t poll_temp(void);
static const bool debug_nn = false;
static float data[N_SENSORS];
static int8_t fusion_sensors[N_SENSORS];
static int fusion_ix = 0;
void print_inference_result(ei_impulse_result_t result);
eiSensors sensors[] =
{
"accX", &data[0], &poll_acc, &init_IMU, NOT_USED,
"accY", &data[1], &poll_acc, &init_IMU, NOT_USED,
"accZ", &data[2], &poll_acc, &init_IMU, NOT_USED,
"gyrX", &data[3], &poll_gyr, &init_IMU, NOT_USED,
"gyrY", &data[4], &poll_gyr, &init_IMU, NOT_USED,
"gyrZ", &data[5], &poll_gyr, &init_IMU, NOT_USED,
"temperature", &data[6], &poll_temp, &init_IMU, NOT_USED,
};
* @brief Arduino setup function
*/
void setup()
{
Serial.begin(115200);
while (!Serial);
Serial.println("Edge Impulse Sensor Fusion Inference\r\n");
if(ei_connect_fusion_list(EI_CLASSIFIER_FUSION_AXES_STRING) == false) {
ei_printf("ERR: Errors in sensor list detected\r\n");
return;
}
for(int i = 0; i < fusion_ix; i++) {
if (sensors[fusion_sensors<i>].status == NOT_INIT) {
sensors[fusion_sensors<i>].status = (sensor_status)sensors[fusion_sensors<i>].init_sensor();
if (!sensors[fusion_sensors<i>].status) {
ei_printf("%s axis sensor initialization failed.\r\n", sensors[fusion_sensors<i>].name);
}
else {
ei_printf("%s axis sensor initialization successful.\r\n", sensors[fusion_sensors<i>].name);
}
}
}
}
* @brief Get data and run inferencing
*/
void loop()
{
ei_printf("\nStarting inferencing in 2 seconds...\r\n");
delay(2000);
if (EI_CLASSIFIER_RAW_SAMPLES_PER_FRAME != fusion_ix) {
ei_printf("ERR: Sensors don't match the sensors required in the model\r\n"
"Following sensors are required: %s\r\n", EI_CLASSIFIER_FUSION_AXES_STRING);
return;
}
ei_printf("Sampling...\r\n");
float buffer[EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE] = { 0 };
for (size_t ix = 0; ix < EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE; ix += EI_CLASSIFIER_RAW_SAMPLES_PER_FRAME) {
int64_t next_tick = (int64_t)micros() + ((int64_t)EI_CLASSIFIER_INTERVAL_MS * 1000);
for(int i = 0; i < fusion_ix; i++) {
if (sensors[fusion_sensors<i>].status == INIT) {
sensors[fusion_sensors<i>].poll_sensor();
sensors[fusion_sensors<i>].status = SAMPLED;
}
if (sensors[fusion_sensors<i>].status == SAMPLED) {
buffer[ix + i] = *sensors[fusion_sensors<i>].value;
sensors[fusion_sensors<i>].status = INIT;
}
}
int64_t wait_time = next_tick - (int64_t)micros();
if(wait_time > 0) {
delayMicroseconds(wait_time);
}
}
signal_t signal;
int err = numpy::signal_from_buffer(buffer, EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE, &signal);
if (err != 0) {
ei_printf("ERR:(%d)\r\n", err);
return;
}
ei_impulse_result_t result = { 0 };
err = run_classifier(&signal, &result, debug_nn);
if (err != EI_IMPULSE_OK) {
ei_printf("ERR:(%d)\r\n", err);
return;
}
print_inference_result(result);
}
* @brief Go through sensor list to find matching axis name
*
* @param axis_name
* @return int8_t index in sensor list, -1 if axis name is not found
*/
static int8_t ei_find_axis(char *axis_name)
{
int ix;
for(ix = 0; ix < N_SENSORS; ix++) {
if(strstr(axis_name, sensors[ix].name)) {
return ix;
}
}
return -1;
}
* @brief Check if requested input list is valid sensor fusion, create sensor buffer
*
* @param[in]input_list Axes list to sample (ie. "accX + gyrY + magZ")
* @retvalfalse if invalid sensor_list
*/
static bool ei_connect_fusion_list(const char *input_list)
{
char *buff;
bool is_fusion = false;
char *input_string = (char *)ei_malloc(strlen(input_list) + 1);
if (input_string == NULL) {
return false;
}
memset(input_string, 0, strlen(input_list) + 1);
strncpy(input_string, input_list, strlen(input_list));
memset(fusion_sensors, 0, N_SENSORS);
fusion_ix = 0;
buff = strtok(input_string, "+");
while (buff != NULL) {
int8_t found_axis = 0;
is_fusion = false;
found_axis = ei_find_axis(buff);
if(found_axis >= 0) {
if(fusion_ix < N_SENSORS) {
fusion_sensors[fusion_ix++] = found_axis;
sensors[found_axis].status = NOT_INIT;
}
is_fusion = true;
}
buff = strtok(NULL, "+ ");
}
ei_free(input_string);
return is_fusion;
}
* @brief Return the sign of the number
*
* @param number
* @return int 1 if positive (or 0) -1 if negative
*/
float ei_get_sign(float number) {
return (number >= 0.0) ? 1.0 : -1.0;
}
bool init_IMU(void) {
static bool init_status = false;
if (!init_status) {
init_status = IMU.begin();
}
return init_status;
}
uint8_t poll_acc(void) {
if (IMU.accelerationAvailable()) {
IMU.readAcceleration(data[0], data[1], data[2]);
for (int i = 0; i < 3; i++) {
if (fabs(data<i>) > MAX_ACCEPTED_RANGE) {
data<i> = ei_get_sign(data<i>) * MAX_ACCEPTED_RANGE;
}
}
data[0] *= CONVERT_G_TO_MS2;
data[1] *= CONVERT_G_TO_MS2;
data[2] *= CONVERT_G_TO_MS2;
}
return 0;
}
uint8_t poll_gyr(void) {
if (IMU.gyroscopeAvailable()) {
IMU.readGyroscope(data[3], data[4], data[5]);
}
return 0;
}
uint8_t poll_temp(void) {
if (IMU.temperatureAvailable()) {
int temp;
IMU.readTemperature(temp);
data[6] = temp;
}
return 0;
}
void print_inference_result(ei_impulse_result_t result) {
ei_printf("Timing: DSP %d ms, inference %d ms, anomaly %d ms\r\n",
result.timing.dsp,
result.timing.classification,
result.timing.anomaly);
ei_printf("Predictions:\r\n");
for (uint16_t i = 0; i < EI_CLASSIFIER_LABEL_COUNT; i++) {
ei_printf("%s: ", ei_classifier_inferencing_categories<i>);
ei_printf("%.5f", result.classification<i>.value);
}
ei_printf("\r\n");
#if EI_CLASSIFIER_HAS_ANOMALY == 1
ei_printf("Anomaly prediction: %.3f\r\n", result.anomaly);
#endif
}
#if !defined(EI_CLASSIFIER_SENSOR) || (EI_CLASSIFIER_SENSOR != EI_CLASSIFIER_SENSOR_FUSION && EI_CLASSIFIER_SENSOR != EI_CLASSIFIER_SENSOR_ACCELEROMETER)
#error "Invalid model for current sensor"
#endif
程序说明
该程序使用Edge Impulse SDK进行机器学习推理。代码主要负责进行初始化、传感器数据采集和推理。
在setup函数中,首先初始化串口通信,并等待USB连接。然后调用ei_connect_fusion_list函数连接所需的传感器。该函数解析传感器轴列表,并将匹配的传感器标记为未初始化状态。接下来,程序遍历所有连接的传感器并初始化它们。
loop主循环中首先打印推理开始的提示信息,并延迟两秒。然后检查所需的传感器数量是否与模型匹配,如果不匹配则打印错误信息并返回。接下来,程序开始采样传感器数据,将数据存储在缓冲区中。每次采样后,程序计算下一次采样的时间,并在需要时延迟以保持采样间隔一致。
采样完成后,程序将原始数据缓冲区转换为信号,并调用run_classifier函数进行推理。推理结果通过print_inference_result函数打印,包括推理时间、分类结果和异常检测结果(如果存在)。
传感器初始化和数据采集函数包括init_IMU、poll_acc、poll_gyr和poll_temp。init_IMU函数初始化IMU传感器,poll_acc函数采集加速度数据并进行范围限制和单位转换,poll_gyr函数采集陀螺仪数据,poll_temp函数采集温度数据。
效果展示
静止状态下模型预测idle的可能性接近100%,其他动作的可能性接近0%。
左右平移运动时模型对left-right的预测概率也相当高,能够很好的区分左右平移与左右挥舞。
最后附上作为arduino库导出的分类模型:
任务进度