作者
Ali Ors
Ali专门负责领导各跨职能团队,为机器学习和视觉处理领域提供创新产品和平台。他目前在恩智浦负责全球AI机器学习战略和技术工作。Ali曾在恩智浦汽车业务部负责ADAS和自主产品的AI战略、战略伙伴关系和平台设计。加入恩智浦之前,Ali曾担任CogniVue公司的工程副总裁,负责开发视觉SoC解决方案和Cognition处理器IP内核。Ali持有加拿大渥太华卡尔顿大学的工程学学位。

AI的下一步进化是“代理式AI”,其核心在于增强边缘的自主性。这种形式的AI最接近人类的行为模式。代理式AI借助Agent (智能体)软件系统,通过AI技术代替我们实现目标。
面对一个充满预测与自动化可能性的未来,我们的行业将如何激发颠覆性的变革潜力?答案首先在于实现“自主边缘”。这也是Jens Hinrichsen在Computex研讨会主题演讲中阐述的重点。他回顾了人工智能的发展历程,从早期的感知型AI演变至如今的代理式智能前沿,并详解了自主边缘系统如何从专门构建的可信平台中受益——这些平台具备功能安全与信息安全。
这一切始于一个清晰的前提:AI的使命是让我们的生活更美好、更高效、更可持续、更安全。要达成这一目标,AI需更加贴近我们,融入我们的世界——在我们与他人以及周围环境互动的每个当下。我们称这个区域为“边缘”,而AI的最终落脚点,也必须是这里,以实现实时自主赋能。
这一变革至关重要,因为它绕过了AI与自主连接过程中的核心障碍——数据瓶颈。当前,我们正在生成大量极具价值的数据,仅过去三年所产生的数据量就已超过整个人类历史的总和。虽然云端AI运算能力已取得进步,显著提升了数据利用效率,但在实现自动化旅程的“最后一英里”时,我们仍需更精细的策略。
我们需要在边缘实现实时、有意义的决策。毕竟,我们所处的物理世界庞大而复杂,无法全面上传至云端。解决之道是将AI部署至“智能边缘”。
恩智浦半导体边缘处理AI机器学习战略技术总监Ali Osman Ors
借助边缘AI,数据传输量与带宽需求显著降低,因为处理直接在操作的位置完成。因此,需要传输至云端的数据比较有限,“始终在线”的云连接不再必要。
在边缘,AI同时避免了数据往返云端的延迟,实现了对用户影响最大的快速、可执行的决策类型。例如,汽车中的ADAS、可检测健康异常的智能设备,以及一系列可让生活更加安全和美好的决策场景。
要实现此类操作和处理,需要具备经过能效优化的边缘硬件,并依赖于在功能安全、信息安全和数据隐私方面建立的全新技术信任。随着AI能力向边缘迁移,这些关键使能技术也能无缝部署。
为了更好地了解AI的未来发展方向,Jens回顾了其令人惊叹的演变历程。他展示了感知AI如何创建一个“感知边缘”,解析信号、判断身份、理解环境。在神经网络技术不断突破的推动下,感知能力历经10年,终于实现边缘部署。
AI转型的下一个阶段是生成式AI,在边缘实现交互。这种交互能力源于Transformer模型的突破,它为当今的生成式AI解决方案奠定了基础。基于Transformer的大语言模型(LLM)和视觉语言模型(VLM),允许人与AI能通过自然语言与视觉信息进行交互。
随着生成式AI模型的爆炸式增长,云计算曾受益匪浅。然而,真正的受益领域是边缘——能力和性能与先前大型模型相当的小型模型,正以前所未有的速度涌现。这类小型生成式AI语言模型(LLM)、视觉模型以及多模态模型,更适合在边缘环境中部署与运行。不过,尽管技术取得了惊人的进步,仅有交互性还远远不够。
生成式AI正在为多样化应用打开新天地。探索边缘生成式AI的真实应用案例 。
AI的下一步进化是“代理式AI”,其核心在于增强边缘的自主性。这种形式的AI最接近人类的行为模式。代理式AI借助称为Agent (智能体)的软件系统,通过AI技术为我们代为实现目标。
这类智能体具备思考、优化与执行能力,堪称AI发展的集大成者。它将过去各阶段AI的演进成果整合,创建积极的边缘。智能体能够独立感知、思考和行动,实时响应环境变化,完成决策评估、优化和执行的全流程。换言之,代理式AI是实现“自主边缘”的关键技术,边缘AI的真正价值在于自主性——系统成为具备自主性的人类伴侣。
在工业场景中,AI正推动创新。观看视频,与Jens共同探索AI智能体如何响应工厂车间的异常情况 。
自主边缘的发展依赖于多项关键技术的提升。恩智浦通过系统构建模块及配套解决方案,积极应对这一挑战。
恩智浦为可扩展的处理平台提供硬件构建模块,从简单的MCU到面向汽车与工业平台的高性能应用处理器以及提升能效的紧密集成的电源管理均涵盖其中。针对不同的应用需求与数据速率,恩智浦还提供功能安全与信息安全、网络及连接功能等。
此外,恩智浦还提供涵盖系统实现所需的完整软件,包括为连接到应用软件的硬件量身定制的库、工具、驱动程序和中间件。对于中间件,我们提供多样化选项,客户可根据其具体场景进行灵活选择。
AI的尺寸必须契合边缘的约束——重点是计算能力、内存限制和能效。为此,恩智浦开发了eIQ AI SW开发环境工具,助力用户进行模型开发与部署,实现精准模型定义与尺寸优化。
值得注意的是,自主性的发展必须建立在可被信赖的基础之上。功能安全与信息安全是扩大自主规模的必要前提。
恩智浦半导体边缘处理AI机器学习战略技术总监Ali Osman Ors
功能安全与信息安全是自主边缘系统的基石。必须在系统层面及端到端设计中保障功能安全与信息安全,并满足不同用例的定制化需求。在功能安全方面,汽车与工业领域对功能安全要求严苛,恩智浦从中积累了丰富的专业经验。我们定义系统级功能安全,涵盖硬件、软件及应用程序各环节。
信息安全则需组合多重端到端措施。安全已深植于恩智浦的DNA——源自我们在护照、信用卡和移动钱包安全领域的卓越传统。为了持续保持先进的的安全机制,我们在产品中部署了后量子密码学,并支持全生命周期管理及安全的OTA更新。
我们近期宣布了收购三家公司的意向:Kinara、Aviva Links和TTTech Auto,其中两项收购尚未最终确定。
Kinara提供具备生成式AI能力的分立式NPU,适用于在边缘部署代理式AI。
Aviva Links为高带宽异步数据传输提供边缘网络解决方案,TTTech Auto提供安全关键型中间件平台。
收购目前正在由监管部门审批,完成后将加速我们实现自主边缘的进程。
除了战略投资,我们还通过与客户及合作伙伴的深度协作,形成丰富的AI支持生态合作体系。
Jens展示了边缘AI的演进速度已达前所未有的水平,并深入探讨了其向自主边缘迈进的下一阶段。代理式AI展示了系统以惊人的方式进行思考、行动与学习。
构建这一未来,需要一个完整的生态合作体系——这是我们迈向自主时代的根本路径。
恩智浦半导体边缘处理AI机器学习战略技术总监
Ali专门负责领导各跨职能团队,为机器学习和视觉处理领域提供创新产品和平台。他目前在恩智浦负责全球AI机器学习战略和技术工作。Ali曾在恩智浦汽车业务部负责ADAS和自主产品的AI战略、战略伙伴关系和平台设计。加入恩智浦之前,Ali曾担任CogniVue公司的工程副总裁,负责开发视觉SoC解决方案和Cognition处理器IP内核。Ali持有加拿大渥太华卡尔顿大学的工程学学位。