为何要为i.MX 8M系列添加ISP和机器学习加速功能

恩智浦喜欢变革求新 —— 引领和创新。恩智浦一直在为i.MX应用处理器的摄像头模块接口提供支持。恩智浦也在许多SoC上实现了CPU和GPU等共享资源的机器学习。这一功能仍然运行良好(根据应用的需求而异)，这篇博文阐述了恩智浦为何决定对其进行升级，并在i.MX 8M Plus中添加图像信号处理器(ISP)和机器学习(ML)加速器。

机器学习的重要性持续增长

特别是，在云端进行机器学习是支持人们使用智能手机语音助手或智能扬声器语音助手的关键技术，也是支持社交媒体甚至手机分组个人照片的技术。但这些用例都依赖云端服务器运行的机器学习。恩智浦面临的真正挑战是边缘机器学习。这是所有机器学习推理在 i.MX 8MPlus等边缘处理器进行本地运行的地方。在边缘运行ML推理意味着，即使网络访问中断，应用也将继续运行 —— 这对于监控或智能家居警报中心等应用至关重要，对在没有网络访问的偏远地区运行也同样重要。与必须将数据发送到服务器进行处理并将结果发回的情况相比，在边缘运行ML推理还降低了决策延迟。低延迟至关重要，例如当执行工业工厂地面目视检查时，或需要决定是接受还是拒绝匆匆而过的产品时。

边缘机器学习的另一个关键优势是保护用户隐私。边缘设备采集的个人数据（如语音通信和命令、人脸、视频和图像）经过处理并在边缘进行本地存储。系统不会把信息发送到云端处理，仅在云端记录并进行跟踪。用户的隐私不会受到侵害，个人可以自行决定是否在云端共享个人信息。

需要多少边缘机器学习？

现在，考虑到边缘对机器学习的需求，问题变成了需要多少机器学习。衡量机器学习加速器的一种方法是每秒的运算次数(通常是8位整数相乘或累加)，通常称为TOPS，即每秒万亿次运算。这是基本基准，因为整体系统性能也受许多其他因素影响，但它是被广泛引用的机器学习测量方法之一。

事实证明，在边缘进行完整的语音识别(不只是关键字识别)需要大约1-2个TOPS(具体取决于算法，如果希望了解用户想表达的意思，而不仅仅是将语音转换为文本，则需要更多运算次数)。以60fps执行目标检测(使用Yolov3等算法)也需要大约2-3个TOPS。因此，机器学习加速(如i.MX 8M Plus的2.3个TOPS)成为这类应用的最佳选择。

下一步：图像信号处理器(ISP)

ISP功能始终存在于基于摄像头的系统中，尽管有时可以集成到摄像头模块或嵌入到应用处理器中，并且可能对用户隐藏。ISP通常会进行多种类型的图像增强，其主要目的是将原始图像传感器的每个像素输出的单色分量转换为系统中其他地方更常用的RGB或YUV图像。

摄像头输入来自网络或网络摄像头(一般通过以太网或USB连接到应用处理器)时，没有ISP的应用处理器在基于视觉的系统中运行良好。对于这些应用，摄像头可以与处理器保持一定距离，距离甚至可以达到100米左右。摄像头本身内置ISP和处理器，可转换图像传感器信息并对视频流进行编码，然后再通过网络发送。

没有ISP的应用处理器也适用于分辨率相对较低的摄像头。在100万像素或更低的分辨率下，图像传感器通常内置ISP，可将RGB或YUV图像输出到应用处理器，处理器内不需要ISP。

但在约200万像素(1080p)或更高的分辨率下，大多数图像传感器没有内置ISP，而是依赖系统中其他地方的ISP。可能依赖独立的ISP芯片(可以运行，但会增加系统的功率和成本)，也可以依赖集成在应用处理器中的ISP。这就是恩智浦为何选择采用i.MX 8M Plus的解决方案 —— 提供高质量的成像，同时也是优化的成像解决方案，特别是在200万像素和更高分辨率的情况下。

推动智能边缘设备的发展

综上所述，i.MX 8M Plus应用处理器结合了2.3TOPS机器学习加速器和ISP，无论是用于智能家居、智能楼宇、智慧城市还是工业物联网应用，都将成为边缘嵌入式视觉系统的关键元件。借助嵌入式ISP，它可以打造直连到本地图像传感器的高图像质量优化系统，甚至可以将这些图像数据提供给较新的机器学习算法，所有这些都可以减轻本地机器学习加速器的负担。

采用为机器学习和视觉系统而优化的i.MX 8M Plus架构，边缘设备设计师能够像恩智浦一样变革求新——引领和创新。他们拥有强大的机器学习能力，配合高清摄像头系统，让设备看得更清晰、更深远。嵌入式领域不断涌现新的创新机遇。

有关i.MX 8M Plus的更多信息，请访问i.MX 8M Plus和i.MX 8M Plus工具和软件。