---
title: "OSUM – 西北工业大学开源的语音理解模型"
url: "https://paooo.com/aigc-news/21713/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T21:01:41+08:00"
updated_at: "2026-06-08T21:01:41+08:00"
categories: "AIGC 资讯"
tags: "AI音频与语音, HuggingFace, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# OSUM – 西北工业大学开源的语音理解模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/21713/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 融合Whisper-Medium与Qwen2-7B-Instruct，OSUM以“ASR+X”多任务策略提升语音理解泛化能力。
- 支持语音识别、带时间戳识别、情感识别、说话者性别/年龄预测等多种语音任务。
- 约5万小时多样化语音数据训练，中文ASR与多任务稳定性表现突出，适合落地语音应用。

## OSUM是什么

OSUM（Open Speech Understanding Model）是西北工业大学计算机学院音频、语音与语言处理研究组推出的开源语音理解模型。OSUM结合Whisper编码器和Qwen2 LLM，支持[语音识别](https://ai-bot.cn/ai-text-to-speech-tools/)（ASR）、语音情感识别（SER）、说话者性别分类（SGC）等多种语音任务。OSUM基于“ASR+X”多任务训练策略，用模态对齐和目标任务的优化，实现高效稳定的训练。OSUM用约5万小时的多样化语音数据进行训练，性能在多项任务中表现优异，在中文ASR和多任务泛化能力上表现出色。

## OSUM的主要功能

- **语音识别**：将语音转换为文本，支持多种语言和方言。

- **带时间戳的语音识别**：在识别语音内容的同时，输出每个单词或短语的起止时间。

- **语音事件检测**：识别语音中的特定事件（如笑声、咳嗽、背景噪音等）。

- **语音情感识别**：分析语音中的情感状态（如高兴、悲伤、愤怒等）。

- **说话风格识别**：识别说话者的风格（如新闻播报、客服对话、日常口语等）。

- **说话者性别分类**：判断说话者的性别（男性或女性）。

- **说话者年龄预测**：预测说话者的年龄范围（如儿童、成年人、老年人）。

- **语音转文本聊天**：将语音输入转化为自然语言回复，用在对话系统。

## OSUM的技术原理

- **Speech Encoder**：用Whisper-Medium模型（769M参数），负责将语音信号编码为特征向量。

- **Adaptor**：包含3层卷积和4层Transformer，用在适配语音特征与语言模型的输入。

- **LLM（语言模型**）：基于Qwen2-7B-Instruct，用LoRA（Low-Rank Adaptation）微调，适应多任务需求。

- **多任务训练策略**：

**ASR+X训练范式**：同时训练语音识别（ASR）任务和一个附加任务（如SER、SGC等）。基于共享特征和优化目标，提升模型的泛化能力和稳定性。

- **自然语言Prompt**：基于为LLM提供不同的自然语言提示（Prompt），引导模型执行不同的任务。

- **数据处理与训练**：约5万小时的多样化语音数据进行多任务训练，数据集包括开源数据和内部处理数据。训练分为两个阶段：首先对Whisper模型进行多任务微调，然后与LLM结合，进行进一步的监督训练。

## OSUM的项目地址

- **GitHub仓库**：[https://github.com/ASLP-lab/OSUM](https://github.com/ASLP-lab/OSUM)

- **arXiv技术论文**：[https://arxiv.org/pdf/2501.13306v2](https://arxiv.org/pdf/2501.13306v2)

- **在线体验Demo**：[https://huggingface.co/spaces/ASLP-lab/OSUM](https://huggingface.co/spaces/ASLP-lab/OSUM)

## OSUM的应用场景

- **智能客服**：基于语音识别和情感分析，自动理解客户需求并提供个性化服务。

- **智能家居**：识别语音指令和背景事件，优化语音交互体验。

- **教育工具**：分析学生语音，提供个性化学习反馈。

- **心理健康监测**：检测语音中的情绪变化，辅助心理健康评估。

- **多媒体内容创作**：自动生成字幕和标签，辅助视频编辑。

## 常见问题解答 (FAQ)

### OSUM适合做哪些语音任务？
OSUM支持语音识别、带时间戳识别、语音事件检测、语音情感识别、说话风格识别、说话者性别分类、年龄预测，以及语音转文本聊天等任务，适合多任务语音理解场景。

### OSUM为什么说多任务泛化能力强？
它采用“ASR+X”多任务训练范式，把语音识别与情感、性别等附加任务联合训练，并通过模态对齐和目标任务优化提升共享表示能力，因此在中文ASR和多任务泛化上表现更稳。

### OSUM的技术架构是什么？
OSUM由Whisper-Medium语音编码器、3层卷积加4层Transformer的Adaptor，以及基于Qwen2-7B-Instruct并用LoRA微调的语言模型组成，配合两阶段训练完成多任务语音理解。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
