概述：边缘智能感知革新

尘土飞扬的建筑工地；雾气弥漫的田野；拥挤的仓库；倾盆大雨；崎岖不平的地形。让自动设备能够可靠地实时感知并适应上述充满挑战的真实应用场景，需要哪些关键要素？恩智浦与Au-Zone Technologies携手迎接挑战，致力于构建一个能在高压环境下稳定运行的感知系统，还要确保能快速集成并灵活扩展。
合作成果：研发并推出Raivin模块——集成雷达传感、视觉处理和边缘AI推理的3D感知系统，该模块已准备投入量产。Raivin专为复杂操作环境而设计，使机器能够实时处理复杂的环境数据并作出决策。
借助预训练的AI感知模型和统一的软硬件架构，Raivin简化了智能感知的部署，为可扩展的自主系统向边缘发展迈出了重要的一步。

“自主系统的下一步发展需要更强大、更精准且更具成本效益的实时3D空间感知能力。我们与恩智浦携手合作，专为这一需求打造了Raivin。”

---

挑战：克服传统的感知极限

自主性和物理AI的演进已超越传统感知解决方案的能力范畴。当前仍有大量系统采用单一传感器架构，在复杂且不可预测环境中容易出现问题。

• 仅使用摄像头的系统在低能见度或光照不足时性能下降。
• 激光雷达虽然具备高精度，但成本高昂且能耗较大。
• 雷达在恶劣天气下表现稳定，但由于分辨率有限，难以实现精确的目标分类。

我们与Au-Zone携手应对挑战，共同研发了这款边缘AI传感器融合系统，实现高置信度、低延迟的感知能力。

视觉技术提供了丰富的语义理解能力，可实现物体检测、分类与分割。雷达则补充了连续的深度信息和运动跟踪能力，即使在低能见度环境下仍能稳定运行。这些信号在融合AI推理后，形成一个具备上下文感知能力的同步3D环境模型。系统能够实现高度置信度的实时决策。

尽管多传感器系统带来了诸多优势，但自主应用仍受限于其对现实世界刺激的响应速度。低延迟至关重要，这类工作负载无法容忍因云处理或传感器刷新率过低而导致的延迟。

只有将雷达和视觉技术与边缘AI处理整合于同一个单元，我们才能打造足够快速、可靠且强大的系统，以满足下一代自主应用的需求。

“Raivin体现了系统级思维，将雷达、视觉和边缘AI设计为一个统一、确定性的流程。这一方法使在复杂环境中实现实时感知成为可能。”

---

解决方案：用于边缘部署的全栈系统

Raivin从一开始就是合作研发的成果。其全协议栈设计涵盖从芯片到软件的各个层面，采用协同开发方式，以确保在边缘实现一致、高效的性能。

Raivin模块是一款商用AI感知解决方案，将低级雷达模块、视觉数据处理和边缘AI整合为一个可直接部署的单元。

搭载恩智浦技术

i.MX 8M Plus MPU

四核Arm Cortex-A53和高达2.3 TOPS的NPU，用于AI推理、基于视觉的分类、分割和场景理解

S32R294雷达MCU

符合ISO26262 ASIL D安全等级标准；用于实时雷达信号处理和融合

RFCMOS雷达

工作频段为7681GHz；具备在动态变化及恶劣环境下的空间感知能力

Au-Zone的边缘AI软件协议栈与开发工具

Raivin模块采用Au-Zone的EdgeFirst Studio™  开发，能够简化多模态数据收集、AI辅助标注、训练、验证及部署而设计，无需深厚的机器学习专业知识。

在EdgeFirst Studio中，EdgeFirst Perception Stack通过预训练模型和工作流程优化环境，帮助开发人员加速传感器融合设计。团队可以在同一个工具链中完成数据集标注、模型微调和性能验证，从而显著缩短开发周期，降低入门门槛。

最终，打造出一款高集成度的3D感知系统，在低延迟、低功耗方面实现了优化，并支持边缘部署。

---

成果：在实际环境下的可信性能表现

Raivin在现场演示中接受了严苛的测试，重现自动设备每日所面临的各类环境挑战，包括天气变化、动态运动以及视觉障碍等：

• 在雾霾环境下，雷达依然能够稳定执行目标检测、跟踪与空间感知。
• 在强光条件下，融合引擎确保精准的目标跟踪能力。
• 在模拟降雨环境中，雷达与AI协同工作，以保持高精度感知。
• 在复杂、杂乱的场景中，雷达实时追踪速度，而AI与视觉系统则协同分割和分类人员、设备及障碍物。

---

下一步：大规模简化传感器融合

长期以来，传感器融合一直是复杂的过程，需要分散的工具、定制化流程以及深厚的专业知识。Raivin颠覆了这一传统。

预训练的AI模型被集成到Au-Zone的EdgeFirst Studio，工程师可轻松实现雷达与视觉的融合，而无需从零构建。该软件支持数据集管理、训练与验证，只需要很少的编码与机器学习基础设施，就能实现快速的迭代开发。同时，它还能作为数据收集平台，助力针对不同对象和工作环境探索定制化解决方案。

该即用型硬件解决方案经过优化，专为边缘AI处理设计，消除了对定制实现与硬件权衡的顾虑。

Raivin现已商用，为OEM提供经过验证的可扩展3D感知系统。无论是应用于移动机器人、精准农业还是车队车辆，Raivin模块均可通过单一平台快速集成AI驱动的感知能力。

黄金合作伙伴

关于Au-Zone Technologies

Au-Zone为边缘视觉感知树立了行业标杆。自2001年成立以来，历经20余年的技术创新，Au-Zone已发展成为边缘计算嵌入式AI与机器学习领域值得信赖的知名企业。

解决方案： 用于3D感知传感器融合的Raivin

了解Au-Zone的详情