NNoM 系列 - 在RT-Thread上使用 NNoM

NNoM

NNoM (Neural Network on Microcontroller)

1. 简介

NNoM是一个专门为了神经网络在 MCU 上运行的框架。
NNoM 是一个定点神经网络库, 现在支持 8-bit定点格式。
当前 NNoM 支持数十种操作,卷积,池化,激活,矩阵计算等等。
此外还提供多种在线评估方法,包括时间统计,内存统计,Top-K 准确度,Confusion Matrix 等等。

它拥有以下优点:

  • 快速开发: 电脑上训练的 Keras 模型直接转换成 C 文件。
  • 默认纯C后端: 移植和使用畅通无阻,支持32/64bit,MCU/PC。
  • 支持复杂结构: 支持多种复杂的网络模型结构。
  • 完善的文档: 拥有 API 文档,入门指南,优化指南。
  • 入门简单: 多个从简单到复杂的例子,完全开源。

MCU 上的神经网络能做什么?

  • 语音关键词识别 (KeyWord Spotting)
  • 使用运动传感器识别活动状态 (Human Activity Recognition)
  • 神经网络控制系统 (替代PID等传统控制方法)
  • 图像处理 (带专用加速器的 MCU)
  • ...

** 为什么需要 NNoM **

image

2014年后的网络,更高效,也更复杂。

CMSIS-NN 之类的库太底层,需要设置的参数众多,不够灵活,只能应用在比较传统的单路径网络上。
而新的网络倾向于从结构上做优化,不可避免地需要在结构上做设计和优化。
复杂的网络结构导致非常难以使用传统的底层库进行部署。
最初,NNoM 在 CMSIS-NN 上封装了一层结构层专门用于处理复杂的网络路径并且简化了参数计算。
后来 NNoM 有了自己的脚本可以一键生成相应的 C 文件,更进一步提升了使用性。
新的纯 C 后端也使得使用 NNoM 后,网络的部署几乎没有平台的限制。

1.1 目录结构

nnom
├───docs 
│   ├───figures                     // 文档图片
│   └───*.md                        // 文档
├───examples                        // 例子
├───inc                             // 头文件
├───port                            // 移植文件
├───scripts                         // 脚本工具,模型转换工具
├───src                             // 源代码
│   LICENSE                         // 软件包许可证
│   README.md                       // 软件包简介
└───SConscript                      // 构建脚本

1.2 许可证

NNoM 使用 LGPL-3.0 许可证,详见LICENSE文件。

1.3 依赖

RT-Thread 3.0+

2. 获取软件包

RT-Thread online packages  --->
    miscellaneous packages  --->
        [*] NNoM: A Higher-level Nerual Network ... --->
  • 推荐选择 latest 版本。
  • 退出 menuconfig 后,需要使用pkgs --update 命令下载软件包。

3. 使用软件包

例子 开始,例子从浅到深,适合直接硬干的玩家。

在线文档 开始,适合规规矩矩的大佬。

3.1 背景知识

  • Python 3 环境,推荐 Anaconda
  • 神经网络和机器学习的基本知识

在 MCU 上做神经网络需要使用者具备一些简单的机器学习的概念,比如卷积层,全连接层, 和 Keras 或是其他工具的初步技巧。

NNoM 可以使用自带的 python 脚本很好地配合 Keras 来部署神经网络到 MCU。所以推荐使用 Keras 来学习。

如果你对机器学习和神经网络完全陌生也没有关系,Keras 号称30秒入门。

3.2 例子

/examples 下有几个不同的例子。

  • mnist-simple 手写数字识别 (超级简单,Msh 交互)
  • uci-inception 使用6轴运动传感器进行人体运动识别(Inception 结构, CMSIS-NN加速,使用Y-modem发送测试数据,支持 Msh命令行交互)
  • mnist-densenet 手写数字识别 (DenseNet 结构)

更多例子正在路上...

  • 关键词识别例子(KeyWord Spotting)

3.3 优化

NNoM 默认使用纯 C 后端, 同时支持 CMSIS-NN/DSP 后端。选择 CMSIS 后端后,会有5倍左右的性能提升.

开启优化的方式可以查看 Porting and Optimisation Guide

4. 联系方式

感谢 Wearable Bio-Robotics Group (WBR), Loughborough University

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本章涵盖了神经网络的核心组件Keras概论设置深度学习工作环境使用神经网络来解决基本分类和回归问题 本章旨在让你开...
    凤凰花开那一天阅读 16,310评论 0 57
  • 概述 机器学习发展到今天,得益于数据量的增长、算力的丰富、和深度神经网络技术的不断创新和广泛应用,像计算机视觉、自...
    高阳生阅读 3,245评论 3 10
  • 大风吹着 时光在明暗里赶着 追寻着 人潮向前拥挤着 触摸着 原来远处的岛是荒芜的 路的尽头空荡荡的 回望着 那宅子...
    西城的北阅读 357评论 3 2
  • 我想放弃 能让残障儿童更健康的手技 从孩子家里回来的路上 满眼的灯火 我已经看不清我的背影 借着明亮的街灯 我看了...
    3791c75ce06c阅读 285评论 0 0
  • 多么美的一天,怎么可以赖在床上呢! 我为啥要写这样一篇文章? 1.激励我自己。 我属于早上起床困难户,话说...
    随心mxy阅读 589评论 0 1