eIQ GenAI Flow助力简化和优化边缘生成式AI

GEN-AI-FLOW

点击播放视频

eIQ Gen-AI Flow是一款模块化、端到端软件管道，经过优化，可将大语言模型和小语言模型(LLM和SLM)部署到恩智浦的应用处理器上，例如i.MX 95、93和8M Plus。该管道包含唤醒词、语音转文本、文本转语音和生成式AI模型，这些模型可在器件的CPU和/或NPU上运行。Gen-AI Flow还集成了检索增强生成(RAG)功能，可安全、便捷地利用PDF等定制私有知识源对大语言模型进行精细调优。

框图

将生成式AI引入边缘

GEN-AI-FLOW-BD
获取框图PDF

特性

唤醒词引擎(WWE)

  • 识别关键短语与触发词，以唤醒对话式AI系统。此功能基于恩智浦智能语音技术(VIT)实现。

自动语音识别(ASR)

  • 将人声音频转换为文本、意图(Speech to Intent)及标记，以供后续处理。ASR使用Whisper_small和Moonshine AI模型进行多语种语音到文本转换。

大语言模型(LLM)

  • 支持Llama、Qwen和Danube等主流开源基础模型，这些模型均经过预优化和ONNX量化，可在CPU或NPU上运行。

文本转语音(TTS)

  • 将文本和LLM输出转换为AI生成的语音，以实现完全对话式界面。TTS使用ONNX格式的VITS模型。

检索增强生成(RAG)

  • 利用私有和特定领域的知识资源对LLM和SLM进行精细调优。只需输入一个PDF，即可获得一个紧凑的数据库。该数据库存储于设备上，并由AI模型按需调取，以此实现高效运行并保障数据隐私。

系统需求

下载

快速参考恩智浦 软件类型.
筛选条件

3 下载

  • 应用示范软件

    eIQ RAG Database Generator

    EXTERNAL版本 1.2Aug 12, 2025 13:24:00EIQ-RAG-DATABASE-GENERATOR
    下载
  • 应用示范软件

    eIQ VLM Demonstrator

    EXTERNAL版本 1.0Sep 17, 2026 12:18:00null nullEIQ-VLM-DEMONSTRATOR
    下载
  • 库

    eIQ GenAI Flow Demonstrator

    EXTERNAL版本 1.1Aug 12, 2025 13:27:00EIQ-GENAI-FLOW-DEMONSTRATOR
    下载

注意: 推荐在电脑端下载软件，体验更佳。

设计资源

硬件

快速参考恩智浦 板类型.
筛选条件

5 硬件

相关软件

快速参考恩智浦 软件类型.

筛选条件

    注意: 推荐在电脑端下载软件，体验更佳。

    支持

    您需要什么帮助?

    • Narrow your search
    搜索