# Spirit LM – Meta推出多模态语言模型，无缝集成语音和文本

- Link: https://paooo.com/aigc-news/26255/
- Published: 2026-07-08T16:05:08+08:00
- Author: 站外新闻

## Spirit LM是什么

Spirit LM是由Meta AI团队推出的一种多模态语言模型，能无缝地混合文本和语音数据。Spirit
LM基于一个预训练的文本语言模型，用持续在文本和语音单元上的训练扩展到语音模态。模型
有两个版本：基础版（BASE）和表达版（EXPRESSIVE）。基础版用语音语义单元，除表达版
除语义单元外，还用音高和风格单元模拟语音的表达性。Spirit LM在训练时将语音和文本序列
连接为单一的标记集，基于词级交错方法。能生成具有文本模型语义能力的文本，和生成具有
语音模型表达能力的语音，Spirit LM能在少量样本的情况下跨模态学习新任务，如自动语音
识别（ASR）、文本到语音（TTS）和语音分类。

阅读目录

 * [Spirit LM是什么](https://paooo.com/aigc-news/26255/#spirit-lm%e6%98%af%e4%bb%80%e4%b9%88)
 * [Spirit LM的主要功能](https://paooo.com/aigc-news/26255/#spirit-lm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Spirit LM的技术原理](https://paooo.com/aigc-news/26255/#spirit-lm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Spirit LM的项目地址](https://paooo.com/aigc-news/26255/#spirit-lm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Spirit LM的应用场景](https://paooo.com/aigc-news/26255/#spirit-lm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Spirit LM](https://paooo.com/wp-content/uploads/2026/07/Spirit-LM-website-1.avif)

## Spirit LM的主要功能

 * **跨模态语言生成**：Spirit LM能生成文本和语音，实现无缝切换。
 * **语义和表达能力**：结合文本模型的语义能力和语音模型的表达能力。
 * **少量样本学习**：基于少量样本快速学习新任务，如ASR、TTS和语音分类。
 * **情感保持**：表达版（EXPRESSIVE）能理解和生成具有特定情感的语音和文本。
 * **多模态理解**：理解和生成跨模态内容，例如将文本转换为语音或反之。

## Spirit LM的技术原理

 * **预训练和扩展**：基于预训练的文本语言模型，用持续在文本和语音单元上的训练来展
   模型的语音处理能力。
 * **交错训练**：用词级交错方法，将语音和文本序列连接为单一的标记集进行训练，实现
   语音和文本之间的对齐。
 * **双模态标记**：
    - **基础版（BASE）**：用语音语义单元（如HuBERT标记）。
    - **表达版（EXPRESSIVE）**：除语义单元外，结合音高（F0）和风格单元捕捉语音的
      表达性。
 * **编码和解码**：
    - **编码器**：将语音转换为标记，用HuBERT等模型进行语音编码。
    - **解码器**：将标记还原为原始模态（文本或语音）。
 * **数据集和训练**：
    - 用大规模的文本数据集和语音数据集。
    - 基于对齐的语音+文本数据集进行交错训练。

## Spirit LM的项目地址

 * **项目官网**：[speechbot.github.io/spiritlm](https://speechbot.github.io/spiritlm/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/facebookresearch/spiritlm](https://github.com/facebookresearch/spiritlm)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2402.05755](https://arxiv.org/pdf/2402.05755)

## Spirit LM的应用场景

 * **语音助手**：集成到智能设备中，提供语音交互功能，如回答问题、设置提醒和控制智能
   家居设备。
 * **自动语音识别（ASR）**：将语音转换为文本，用在语音转写、会议记录和语音命令系统。
 * **文本到语音（TTS）**：将文本信息转换为语音输出，用在有声读物、新闻播报和导航
   系统。
 * **情感分析**：分析语音或文本中的情感倾向，用在客户服务、市场研究和社交媒体监控。
 * **语音翻译**：实现语音输入的实时翻译，帮助跨语言沟通，适于国际会议和旅游场景。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)