一切如同往常:游戏加载,战斗开始。但这一次,不需要戴上耳机。只需向后靠坐,声音便将人包围。不是通过环绕系统,也不是通过耳机,而是通过精准导向双耳的自适应声束。当人移动时,声音会随之调整,让人始终处于最佳听音位。用户仿佛佩戴了一副隐形耳机,具备耳机的精准定位,却没有耳朵疲劳、线缆或电池充电的烦恼。双耳无拘无束,用户可以自由交谈、做出反应、自然地游戏,同时身临其境享受空间声效。
这正是Audioscenic 立志打造的体验。为实现这一愿景,他们需要边缘就绪的计算能力、专注音频的性能以及紧密集成的系统支持。而这,正是恩智浦的用武之地。
基于恩智浦i.MX 8M应用处理器,并通过Audioscenic的工程师与恩智浦全球技术团队的紧密协作,这项成果得以问世:利用用户位置感知的自适应波束赋形声音技术。该参考设计可应用于显示器和声霸,提供沉浸式3D音频和清晰通透的语音聊天。
游戏玩家长期面临一个两难选择:使用音箱沉浸感强但语音通讯效果差,使用耳机语音清晰且听音私密,但空间声效减弱且易导致耳朵疲劳。
Audioscenic构想了一种新方案:一种能实时调整声音方向,直达用户耳中,并具备回声消除和语音捕获功能的3D空间音频系统。为将最初的概念验证变为现实,Audioscenic选择采用恩智浦i.MX 8M Mini和i.MX 8M Nano应用处理器,这些处理器提供低延迟计算、高分辨率音频和强大的语音处理能力,以实现无缝性能。
恩智浦首款嵌入式多核应用处理器,采用先进的14LPC FinFET工艺技术构建,提供更快的速度和更高的能效。
提供高性价比的集成和性能,适用于需要图形、视觉、语音控制、智能传感和通用处理功能的节能设备。
然而,技术仅是成功的一部分。我们的团队在整个开发过程中与Audioscenic紧密合作——优化性能、调整软件框架并提供易于集成的解决方案。恩智浦i.MX8M系列器件之间Linux BSP的兼容性,使Audioscenic能够快速扩展和优化解决方案。为加速开发,恩智浦发布了针对该系统架构定制的Immersiv3D音频框架软件。这个模块化音频平台简化了空间音频算法的集成,并有助于协调硬件和软件元件,从而显著加快开发进程。
要实现Audioscenic的愿景,就意味着要解决一个异常复杂的挑战:实时追踪听者的头部位置,并将定向音频精准地对准每只耳朵——不错过任何节拍。这种性能要求系统能够协调、低延迟地并行处理多种算法。
Audioscenic与恩智浦通力合作,通过全解决方案协议栈的紧密集成来应对这一挑战。该系统基于i.MX 8M Mini和Nano处理器构建,并获得恩智浦Immersiv3D音频框架的支持,能够在用户转身、移动或倾斜时即时响应。头部追踪算法与后处理保持完美同步,不断调整以维持无缝、沉浸式体验。
凭借i.MX平台卓越的性能和灵活性,该系统支持:
所有处理完全在设备端完成——无需任何云端处理——实现快速响应和超低延迟,无论如何移动,都能获得卓越的空间音频体验。
借助恩智浦成熟的Linux BSP和易于集成的软件,Audioscenic加快了开发进程,同时能够根据所需的音频通道数量来扩展解决方案。
实时头部追踪与空间音频对齐的延迟
设备端处理,不依赖云端,无延迟
支持头部追踪,实现动态、个性化的3D音频
最初仅为获得更具沉浸感的游戏体验的探索,如今正为更广泛的音频变革铺平道路。这些智能边缘平台不仅有望提升游戏体验,还将为各行业的声音创造、混音和体验方式解锁新的可能性。
交付这些体验不仅仅需要强大的技术,还需要紧密的协作,以及将计算、连接和音频智能相结合,以满足现实环境的特定需求。这正是Audioscenic与恩智浦持续共同驱动的创新。通过将智能边缘平台与完全集成的系统相结合,我们正在逐步塑造空间音频的未来。
Audioscenic是一家位于英国南安普顿的音频技术创新公司,拥有不断增长的全球客户群。Audioscenic专注研发先进的音频技术,广泛应用于家庭音响、游戏、汽车以及公共空间,旨在激发产品创新,并为听众带来沉浸式的享受。
了解有关Audioscenic的详情
恩智浦半导体家庭娱乐与混合办公物联网细分市场营销总监
John在半导体和嵌入式软件行业拥有30年的经验。任职期间,他为音频、游戏、会议和计算领域先进解决方案开发提供支持,帮助客户将创新产品推向市场。他拥有加州大学圣地亚哥分校的电气工程理学学士学位和加州州立大学圣马科斯分校的工商管理硕士学位。