
汽车制造商(OEM)及其供应商找到了一条充分发掘车载人工智能潜力的路径。Sonatus AI Director 集成了恩智浦eIQ® Auto ML软件开发环境,与恩智浦的S32汽车处理平台相结合,构成一套全面的边缘AI工具链,用于本地执行AI工作负载,旨在克服响应性、可靠性及其他性能挑战限制。
尽管汽车制造商越来越多地采用AI,但创新在很大程度上局限于基于云的实现、娱乐中控系统和自动驾驶。虽然这些应用非常适合此类环境,但它们无法提供全面解锁AI在核心车辆功能中的潜力所需的实时、低延迟、可靠、安全的能力。这一差距意味着,车载AI计算领域存在一个巨大的未开发机遇:利用该技术,可通过降低延迟来加快响应速度、削减数据传输成本,保护专有算法、知识产权并增强隐私。
恩智浦携手Sonatus ,为OEM和供应商提供加速车载AI发展的统一平台。Sonatus AI Director集成了恩智浦eIQ Auto ML软件,利用恩智浦S32汽车处理平台来部署和执行适用于广泛使用场景的边缘AI模型。 这种硬件和软件的结合为车辆边缘带来了实时决策、自适应行为和支持自动驾驶的能力。Sonatus AI Director开启了AI功能的无限可能,这些功能可在各种汽车量产车型中进行扩展。
开始更智能、更快地构建。探索eIQ Auto ML软件开发环境,加快从概念到部署的进程。
通过在本地执行AI计算,开发人员能够降低延迟、提升响应速度,减少数据传输成本,并保护专有算法与知识产权。
除了恩智浦eIQ Auto ML软件外,Sonatus AI Director还集成了S32处理器的车规级IP,包含高性能网络加速器,共同构成一个全面的端到端工具链,通过优化从汽车网络到AI模型的数据流,来训练、验证和部署AI模型。这种对全AI生命周期的支持,为OEM厂商提供了一个开发环境,使他们能够在恩智浦硬件平台上开发和扩展AI工作负载。
恩智浦eIQ Auto ML软件开发环境为在嵌入式设备上运行机器学习模型提供了统一、一致的工作流程。其统一的应用编程接口(API)支持多种车规级推理引擎和神经网络后端,包括GLOW、TensorFlow Lite、Open Neural Network Exchange (ONNX)以及Arm® CMSIS-NN。恩智浦的eIQ Auto还将神经网络编译器与广泛的库和计算引擎相集成,使用户能够灵活地利用先进的机器学习功能进行创新。通过将eIQ Auto ML与Sonatus AI Director结合使用,OEM厂商拥有了一个安全、可靠且易于使用的平台,能够降低成本、加快开发进程,并为客户提供新的功能。
为了评估eIQ Auto的模型优化效果,我们使用Sonatus AI Director在运行Ubuntu 22.04的恩智浦GoldBox上对三个发动机异常检测模型进行了基准测试。通过eIQ Auto ML优化的C++版本在性能和内存效率上均展现出显著提升,其中使用Glow编译的模型表现最佳。
相较于基础Python版本的性能提升
| 指标 | 配备ONNXRuntime的C++/eIQ Auto ML (相较于Python) | 配备Glow的C++/eIQ Auto ML (相较于Python) |
|---|---|---|
| 平均推理耗时 | 降低至1/5 | 降低至1/8 |
| CPU利用率 | 降低至1/3.5 | 降低至1/4.25 |
| 驻留内存(RSS) | 降低至1/3.5 | 降低至1/8.4 |
| 虚拟内存(VMEM) | 降低至1/4 | 降低至1/144 |
信息来源:NXP-Sonatus成功案例
在本地执行AI工作负载需要一个专为异构计算环境设计的处理平台,该环境包括MCU、微处理器单元(MPU)和神经处理单元(NPU),同时还需要具备安全执行功能,以实现可扩展且安全关键型AI在不同功能中的应用。尽管当今汽车处理能力在不断扩展,但多步骤机器学习操作(MLOp)工作流程的复杂性一直难以克服。而这正是S32平台的优势所在。其内置加速器能够优化从汽车网络到Sonatus AI Director平台的数据流,从而实现基于边缘的数据捕获和实时反馈循环。
S32平台能够高效地分配CPU资源,同时保持访问权限,支持跨模型的实时处理、虚拟化和安全执行环境。这意味着可以在保护知识产权并支持可靠执行的同时,实现AI模型的托管,且无需干扰实时应用。
随着汽车业持续向软件定义汽车方向发展,消费者对驾驶员友好功能的期望已超越娱乐中控和自动驾驶。Sonatus AI Director基于恩智浦量产级eIQ Auto ML软件和S32汽车平台,帮助汽车制造商突破当前的设计限制,并在车辆内部直接实现实时决策、自适应行为和自动驾驶功能。
恩智浦半导体公司工具软件产品经理
Nikhil负责软件定义汽车(SDV)架构的软件战略制定,致力于打造模块化、以客户为中心的开发工具。他在汽车软件领域拥有超过十年的经验,涉足OEM和一级供应商(Tier1),目前主导开发用于SDV的虚拟环境,该环境由基于云的DevOps和面向高性能计算设备的边缘AI集成技术驱动。Nikhil是一名获得认证的SAFe Agilist,拥有印度商学院颁发的产品管理证书。
恩智浦半导体汽车处理器产品市场经理
Kushal负责北美地区的产品营销工作,推动专注于汽车处理器产品的人工智能计划。他曾在多个深度技术岗位历练,最近专注于系统架构领域,这使他兼具战略眼光与动手实践能力。Kushal对技术怀抱热忱,不懈地关注客户需求,始终致力于将创新与实际应用相结合。