# OSUM – 西北工业大学开源的语音理解模型

- Link: https://paooo.com/aigc-news/21713/
- Published: 2026-06-08T21:01:41+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 融合Whisper-Medium与Qwen2-7B-Instruct，OSUM以“ASR+X”多任务策略提升语音理解泛化
   能力。
 * 支持语音识别、带时间戳识别、情感识别、说话者性别/年龄预测等多种语音任务。
 * 约5万小时多样化语音数据训练，中文ASR与多任务稳定性表现突出，适合落地语音应用。

## OSUM是什么

OSUM（Open Speech Understanding Model）是西北工业大学计算机学院音频、语音与语言处理
研究组推出的开源语音理解模型。OSUM结合Whisper编码器和Qwen2 LLM，支持[语音识别](https://ai-bot.cn/ai-text-to-speech-tools/)（
ASR）、语音情感识别（SER）、说话者性别分类（SGC）等多种语音任务。OSUM基于“ASR+X”
多任务训练策略，用模态对齐和目标任务的优化，实现高效稳定的训练。OSUM用约5万小时的
多样化语音数据进行训练，性能在多项任务中表现优异，在中文ASR和多任务泛化能力上表现
出色。

阅读目录

 * [OSUM是什么](https://paooo.com/aigc-news/21713/#osum%e6%98%af%e4%bb%80%e4%b9%88)
 * [OSUM的主要功能](https://paooo.com/aigc-news/21713/#osum%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [OSUM的技术原理](https://paooo.com/aigc-news/21713/#osum%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [OSUM的项目地址](https://paooo.com/aigc-news/21713/#osum%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [OSUM的应用场景](https://paooo.com/aigc-news/21713/#osum%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![OSUM](https://paooo.com/wp-content/uploads/2026/06/OSUM-website-1.avif)

## OSUM的主要功能

 * **语音识别**：将语音转换为文本，支持多种语言和方言。
 * **带时间戳的语音识别**：在识别语音内容的同时，输出每个单词或短语的起止时间。
 * **语音事件检测**：识别语音中的特定事件（如笑声、咳嗽、背景噪音等）。
 * **语音情感识别**：分析语音中的情感状态（如高兴、悲伤、愤怒等）。
 * **说话风格识别**：识别说话者的风格（如新闻播报、客服对话、日常口语等）。
 * **说话者性别分类**：判断说话者的性别（男性或女性）。
 * **说话者年龄预测**：预测说话者的年龄范围（如儿童、成年人、老年人）。
 * **语音转文本聊天**：将语音输入转化为自然语言回复，用在对话系统。

## OSUM的技术原理

 * **Speech Encoder**：用Whisper-Medium模型（769M参数），负责将语音信号编码为特征
   向量。
 * **Adaptor**：包含3层卷积和4层Transformer，用在适配语音特征与语言模型的输入。
 * **LLM（语言模型**）：基于Qwen2-7B-Instruct，用LoRA（Low-Rank Adaptation）微调，
   适应多任务需求。
 * **多任务训练策略**：
    - **ASR+X训练范式**：同时训练语音识别（ASR）任务和一个附加任务（如SER、SGC等）。
      基于共享特征和优化目标，提升模型的泛化能力和稳定性。
    - **自然语言Prompt**：基于为LLM提供不同的自然语言提示（Prompt），引导模型执行
      不同的任务。
 * **数据处理与训练**：约5万小时的多样化语音数据进行多任务训练，数据集包括开源数据
   和内部处理数据。训练分为两个阶段：首先对Whisper模型进行多任务微调，然后与LLM结合，
   进行进一步的监督训练。

## OSUM的项目地址

 * **GitHub仓库**：[https://github.com/ASLP-lab/OSUM](https://github.com/ASLP-lab/OSUM)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.13306v2](https://arxiv.org/pdf/2501.13306v2)
 * **在线体验Demo**：[https://huggingface.co/spaces/ASLP-lab/OSUM](https://huggingface.co/spaces/ASLP-lab/OSUM)

## OSUM的应用场景

 * **智能客服**：基于语音识别和情感分析，自动理解客户需求并提供个性化服务。
 * **智能家居**：识别语音指令和背景事件，优化语音交互体验。
 * **教育工具**：分析学生语音，提供个性化学习反馈。
 * **心理健康监测**：检测语音中的情绪变化，辅助心理健康评估。
 * **多媒体内容创作**：自动生成字幕和标签，辅助视频编辑。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

OSUM适合做哪些语音任务？

OSUM支持语音识别、带时间戳识别、语音事件检测、语音情感识别、说话风格识别、说话者
性别分类、年龄预测，以及语音转文本聊天等任务，适合多任务语音理解场景。

OSUM为什么说多任务泛化能力强？

它采用“ASR+X”多任务训练范式，把语音识别与情感、性别等附加任务联合训练，并通过模态
对齐和目标任务优化提升共享表示能力，因此在中文ASR和多任务泛化上表现更稳。

OSUM的技术架构是什么？

OSUM由Whisper-Medium语音编码器、3层卷积加4层Transformer的Adaptor，以及基于Qwen2-
7B-Instruct并用LoRA微调的语言模型组成，配合两阶段训练完成多任务语音理解。

🔬 语宙深潜追问 · 进阶实操拆解

Whisper加Qwen2做语音理解的优势在哪？

Whisper负责稳住语音表征和转写鲁棒性，Qwen2负责语言推理和任务泛化，组合后更适合把
语音直接映射到语义层。真正的收益在于多任务共享底座，减少每个任务单独训练的成本。

中文语音多任务训练最该注意什么？

最重要的是任务标签一致性和数据时长分布。ASR、情感、说话人属性不能混标，否则模型会
学到冲突信号。训练时建议先做大规模自监督或转写预训练，再用任务头和采样策略平衡各
任务。

🗳️ 读者观点微投票 · 您的实战立场是？

语音理解模型，先冲ASR还是先做多任务？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Soundwave – 港中文深圳开源的语音理解大模型](https://paooo.com/aigc-news/20838/)
 * [MinMo – 阿里通义实验室推出的多模态语音交互大模型](https://paooo.com/aigc-news/22905/)
 * [EMOVA – 华为诺亚方舟联合多所高校共同推出的多模态全能处理模型](https://paooo.com/aigc-news/25203/)
 * [Westlake-Omni – 西湖心辰开源的中文情感端到端语音交互模型](https://paooo.com/aigc-news/26652/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21713/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
