一般的机器学习工程师很少考虑计算资源。而且他们也很少关心内存的使用情况。为什么？因为这些硬件都很便宜，甚至是你的手机都拥有相当不错的 CPU 和大量内存。
嵌入式设备可以是任何电动机械，甚至是微波炉和洗衣机，如今，几乎所有的电气设备都是嵌入式的。这些设备内部可能拥有一个或多个控制器来负责每个功能：触摸感应、发动机状态监控等。
边缘计算芯片
真正的嵌入式世界，由资源极其有限的 1-2 美元芯片组成。而生产级别的产品使用的就是这种芯片。
边缘机器学习芯片可让终端设备能够在本地执行密集型机器学习计算，减少甚至消除了将大量数据发送到远端位置的需求，因此在可用性、速度、数据安全性和隐私性方面益处良多。
从隐私和安全性方面来看，在边缘设备上处理数据显然更安全；个人信息不离开手机就不会被拦截或滥用。而当边缘AI芯片安装在手机上时，即使未连接到网络，它也可以完成所有处理。
除了相对便宜之外，独立的边缘AI处理器还具有体积小的优势，而且功耗也相对较低，仅为1到10W之间。相比之下，一个由16个GPU和两个CPU组成的数据中心集群功能非常强大，但成本也十分昂贵，高达40万美元，重350磅，耗电要10千瓦。
当设备上的边缘AI芯片无法处理太多数据时，发送数据给远端AI阵列来处理是适当的，甚至是首选方案。实际上，多数情况下，AI将以混合模式完成：一部分在设备端实现，一部分在云端实现。具体情况下应该选择什么样的混合方式，要看需要完成的AI处理类型。
在苹果的A12 仿生芯片上，专用于机器学习的部分约占裸片总面积的7%。如果整个处理器的成本为72美元，那么边缘AI部分的成本约为5.10美元。在智能手机芯片中添加专用的边缘AI NPU是很自然的事。按照正常的利润加价幅度，制造成本增加1美元，对最终消费者而言也仅增加2美元。这意味着即使是价格低于250美元的智能手机，也可以拥有NPU及其带来的益处，如更好的摄像头、离线语音助手等，而价格涨幅也不过1%。
边缘AI处理器已经有一些企业用例了，例如某些自主无人机。配备了智能手机SoC应用处理器的无人机能够完全在设备端进行实时导航和避障，而无需网络连接。
据说，有多达50家不同的公司正在开发各种各样的AI加速芯片。2019年就已经有独立的边缘AI芯片面向开发人员供应，可以单独购买，价格约为80美元。如果生产量达到百万级别的话，设备制造商的购买成本会大大降低，有些甚至低至1美元（甚至可能更低），而有些要几十美元。
边缘 AI可以为企业带来更多新的可能性，尤其是在物联网应用方面。通过使用边缘AI芯片，企业可以极大地提高在设备端的数据分析能力（而不仅仅从联网设备端收集数据），并能够将分析结果转化为行动，从而避免了将海量数据发送到云端造成的成本、复杂性和安全性方面的挑战。
在某些情况下，设备联网是不切实际的，无人机就是个很好的例子。无人机的操作位置决定了维持其联网可能很困难，而且联网本身以及将数据上传到云端都会缩短电池寿命。在澳大利亚新南威尔士州，装配有嵌入式机器学习功能的无人机可以巡逻海滩，以确保游泳者的安全。无需互联网连接，这些无人机就可以识别出被海浪卷走的游泳者，或者在鲨鱼和鳄鱼袭击来临前警告游泳者。
低功耗的机器学习芯片甚至可以在小型电池供电的设备上执行AI计算，而不会消耗过多功率。例如，Arm芯片可以嵌入到呼吸机中来分析数据，比如吸入肺活量和进入肺部的药物流。在呼吸机上进行AI分析，然后将结果发送到智能手机上的APP，这样就可以帮助医疗保健专家为哮喘患者提供个性化护理。除了现在已有的低功率边缘AI NPU外，很多公司还致力于开发“微型机器学习”：在微控制器单元之类的器件上实现深度学习。例如，谷歌正在开发一个TensorFlow Lite版本，可以让微控制器分析数据，并将需要发送到芯片外的数据压缩为只有几个字节大小。
由AI芯片推动的智能设备将有助于扩展现有市场，冲击现有企业，同时改变制造、建筑、物流、农业和能源等行业的价值分配方式。收集、理解并立即根据大量数据采取行动的能力对于依赖大数据的应用将变得至关重要.
想在这个微型控制器上运行机器学习模型，就需要使用 C 代码进行模型搭建。机器学习社区还有一个重大的问题：没有“嵌入式 AI”的专业工具。
请参考：
paper： Machine Learning Fails When It Comes to Embedded System. Here’s Why
将机器学习工作负载优化并部署到裸机设备上是很困难的
此类器件大都处于早期开发阶段，因为设计人员正在努力寻找最有效的算法，甚至人工智能 (AI) 研究人员也在迅速推演新方法。
高性能FPGA的出现使得开发人员可以构建性能接近GPU的推理引擎。
采用专为嵌入式视觉设计的机器学习FPGA平台，开发人员可以专注于特定需求，使用标准机器学习框架训练模型，并依靠FPGA平台实现高性能推理。
FPGA可以提供顯著的性能升級和快速開發平台。例如， 萊迪思半導體(Lattice Semiconductor)的SensAI平台使用神經網路編譯器，能夠將TensorFlow pb檔和其他檔案編譯到Lattice 神經網路IP核心上，以便在其FPGA上實現人工智慧。
專用的AI元件則更進一步，它們採用特別設計的硬體來加速針對大眾市場的機器學習應用。例如Intel Movidius Neural Compute Stick、NVIDIA Jetson TX2模組和高通(Qualcomm) Snapdragon模組等硬體設備可讓開發人員在各種系統中嵌入高性能機器學習演算法。
專門針對AI應用的架構旨在減少CPU對記憶體容量需求的瓶頸。例如，IBM在2018年VLSI Circuits Symposium上描述的AI加速器晶片將用於加速矩陣乘法的處理單元，與用於減少外部記憶體存取的「草稿記憶體」(scratchpad memory)層級結合在一起(圖7)。同樣地，新興的高階AI晶片利用各種方法將微架構中的邏輯和記憶體合併，以加速AI應用的各種運作。
参考资料：
Applying machine learning in embedded systems
