# OmniAudio-2.6B – Nexa AI推出的端侧多模态音频语言模型 - Link: https://paooo.com/aigc-news/24667/ - Published: 2026-07-08T22:18:29+08:00 - Author: 站外新闻 ## OmniAudio-2.6B是什么 OmniAudio-2.6B是Nexa AI推出的音频语言模型，专为边缘部署设计，能实现快速且高效的音 频文本处理。OmniAudio-2.6B是具有2.6亿参数的多模态模型融合Gemma-2-2b、Whisper Turbo 和定制的投影模块，优化自动语音识别和语言模型的集成，减少延迟和资源消耗。在2024款 Mac Mini M4 Pro上，OmniAudio-2.6B展现出比Qwen2-Audio-7B-Instruct快5.5到10.3倍的解码 速度。OmniAudio-2.6B适用于多种场景，包括语音问答、对话、创意内容生成等，基于Nexa SDK在本地设备上运行，为用户提供了强大的边缘AI解决方案。 阅读目录 * [OmniAudio-2.6B是什么](https://paooo.com/aigc-news/24667/#omniaudio26b%e6%98%af%e4%bb%80%e4%b9%88) * [OmniAudio-2.6B的主要功能](https://paooo.com/aigc-news/24667/#omniaudio26b%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [OmniAudio-2.6B的技术原理](https://paooo.com/aigc-news/24667/#omniaudio26b%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [OmniAudio-2.6B的项目地址](https://paooo.com/aigc-news/24667/#omniaudio26b%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [OmniAudio-2.6B的应用场景](https://paooo.com/aigc-news/24667/#omniaudio26b%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![OmniAudio-2.6B](https://paooo.com/wp-content/uploads/2026/07/OmniAudio-2.6B-website- 1.avif) ## OmniAudio-2.6B的主要功能 * **语音识别与转录**：将语音输入转换成文本，适用于会议记录、语音笔记等场景。 * **语音问答**：用户通过语音向模型提问，模型能理解问题并提供文本回答。 * **语音对话**：模型能参与语音对话，理解语音输入并生成相应的文本回复。 * **创意内容生成**：用户能要求模型基于语音输入生成创意内容，如诗歌、故事等。 * **录音摘要**：模型能对长时间的语音记录进行理解和总结，提供关键信息的摘要。 ## OmniAudio-2.6B的技术原理 * **集成架构**：整合Gemma-2-2b、Whisper Turbo和自定义投影模块，减少传统ASR和LLM 模型串联带来的延迟和资源消耗。 * **稀疏性利用**：基于语言模型嵌入空间的稀疏性，投影模块将Whisper的音频tokens映射 到与Gemma文本嵌入对齐的序列，实现音频和文本的有效融合。 * **三阶段训练流程**： - **预训练**：用MLS English 10k转录数据集，引入特殊token区分转录和补全任务。 - **监督式微调（SFT）**：基于转录数据集创建合成数据集，用在指令调优，让模型理解 并处理对话音频输入。 - **直接偏好优化（DPO）**：基于GPT-4o API评估模型输出，识别并优化错误响应，提高 模型的准确性。 * **高效推理引擎**：Nexa SDK是基于GGML的C++推理引擎，专为在边缘设备上部署音频语言 模型而设计，能实现高效的音频语言模型推理。 * **量化和优化**：模型支持FP16和Q4_K_M量化版本，减少内存和存储需求，适应资源受限 的边缘设备。 ## OmniAudio-2.6B的项目地址 * **项目官网**：[nexa.ai/blogs/omniaudio-2.6b](https://nexa.ai/blogs/omniaudio-2.6b?utm_source=ai-bot.cn) * **HuggingFace模型库**：[https://huggingface.co/NexaAIDev/OmniAudio-2.6B](https://huggingface.co/NexaAIDev/OmniAudio-2.6B) * **在线体验Demo**：[https://huggingface.co/spaces/NexaAIDev/omni-audio-demo](https://huggingface.co/spaces/NexaAIDev/omni-audio-demo) ## OmniAudio-2.6B的应用场景 * **智能助手和虚拟助手**：在智能手机、智能家居设备中作为语音交互的核心，提供快速 响应的语音识别和自然语言理解功能。 * **车载系统**：集成到汽车中，提供语音控制、导航、娱乐系统操作等功能，提高驾驶安全 性和便利性。 * **会议记录和转录**：在商务会议中自动记录和转写会议内容，生成会议摘要，提高工作 效率。 * **教育和学习**：辅助语言学习，提供语音识别和反馈，帮助学习者提高发音和语言能力。 * **医疗健康**：在医疗环境中，通过语音命令控制医疗设备，或为患者提供语音交互服务。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)