eIQ GenAI Flow助力简化和优化边缘生成式AI
eIQ Gen-AI Flow是一款模块化、端到端软件管道，经过优化，可将大语言模型和小语言模型(LLM和SLM)部署到恩智浦的应用处理器上，例如i.MX 95、93和8M Plus。该管道包含唤醒词、语音转文本、文本转语音和生成式AI模型，这些模型可在器件的CPU和/或NPU上运行。Gen-AI Flow还集成了检索增强生成(RAG)功能，可安全、便捷地利用PDF等定制私有知识源对大语言模型进行精细调优。
软件详情
特性
唤醒词引擎(WWE)
- 识别关键短语与触发词，以唤醒对话式AI系统。此功能基于恩智浦智能语音技术(VIT)实现。
自动语音识别(ASR)
- 将人声音频转换为文本、意图(Speech to Intent)及标记，以供后续处理。ASR使用Whisper_small和Moonshine AI模型进行多语种语音到文本转换。
大语言模型(LLM)
- 支持Llama、Qwen和Danube等主流开源基础模型，这些模型均经过预优化和ONNX量化，可在CPU或NPU上运行。
文本转语音(TTS)
- 将文本和LLM输出转换为AI生成的语音，以实现完全对话式界面。TTS使用ONNX格式的VITS模型。
检索增强生成(RAG)
- 利用私有和特定领域的知识资源对LLM和SLM进行精细调优。只需输入一个PDF，即可获得一个紧凑的数据库。该数据库存储于设备上，并由AI模型按需调取，以此实现高效运行并保障数据隐私。
系统需求
eIQ Gen-AI Flow演示器
- 该演示需要Linux BSP
eIQ RAG数据库生成器
- Linux PC环境。Python 3
下载
快速参考恩智浦 软件类型.
2 下载
-
应用示范软件
eIQ RAG Database Generator
-
库
eIQ GenAI Flow Demonstrator
注意: 推荐在电脑端下载软件，体验更佳。