FireRedASR是什么
FireRedASR 是小红书开源的工业级自动语音识别(ASR)模型家族,支持普通话、中文方言和英语,在普通话 ASR 基准测试中达到了新的最佳水平(SOTA),在歌词识别方面表现出色。 模型家族包含两个主要版本:
FireRedASR-LLM:采用 Encoder-Adapter-LLM 框架,基于大型语言模型(LLM)的能力,实现 SOTA 性能,支持无缝端到端语音交互。在普通话基准测试中平均字符错误率(CER)为 3.05%,相比之前的 SOTA 模型(3.33%)降低了 8.4%。
FireRedASR-AED:采用基于注意力的编码器-解码器(AED)架构,平衡高性能和计算效率,可作为基于 LLM 的语音模型中的有效语音表示模块。在普通话基准测试中平均 CER 为 3.18%,优于拥有超过 12B 参数的 Seed-ASR。

FireRedASR的主要功能
- 高精度语音识别:FireRedASR 包含两个版本,FireRedASR-LLM 和 FireRedASR-AED。其中,FireRedASR-LLM 采用 Encoder-Adapter-LLM 框架,专注于极致的语音识别精度。
- 高效推理:FireRedASR-AED 基于经典的 Attention-based Encoder-Decoder 架构,参数量为 1.1B,平衡了高准确率与推理效率。
- 多场景适配:FireRedASR 在多种日常场景下表现出色,包括短视频、直播、语音输入和智能助手等。与业内领先的 ASR 服务提供商和 Paraformer-Large 相比,FireRedASR-LLM 的 CER 相对降低 23.7%~40.0%。
- 歌词识别能力:在歌词识别场景中,FireRedASR-LLM 的 CER 实现了 50.2%~66.7% 的相对降低,展现了极强的适配能力。
- 多语言支持:FireRedASR 支持普通话,在中文方言和英语语音识别方面表现出色,进一步拓宽了其应用范围。
- 开源与社区支持:FireRedASR 的模型和推理代码均已开源,推动语音识别技术的社区驱动改进和学术研究。
FireRedASR的技术原理
- FireRedASR-LLM:FireRedASR-LLM 采用 Encoder-Adapter-LLM 框架,结合了大型语言模型(LLM)的能力,实现极致的语音识别精度。包含三个核心组件:
- Conformer 基础编码器:负责提取语音特征,生成连续的语音表示。
- 轻量级适配器:将编码器的输出转换为与 LLM 语义空间匹配的表示。
- 预训练文本 LLM:基于 Qwen2-7B-Instruct 初始化,用于生成最终的文本输出。
- 训练策略:在训练过程中,编码器和适配器是可训练的, LLM 的大部分参数保持固定,仅通过 Low-Rank Adaptation(LoRA)进行微调。确保编码器和适配器能有效地将语音特征映射到 LLM 的语义空间,同时保留 LLM 的预训练能力。
- 输入与推理:在推理时,输入包括提示(prompt)和语音,LLM 执行 next-token-prediction,生成识别文本。
- FireRedASR-AED:FireRedASR-AED 基于经典的注意力机制编码器-解码器(AED)架构,平衡高性能和计算效率。由以下部分组成:
- Conformer 编码器:基于 Conformer 模型处理语音特征,能同时捕捉局部和全局依赖关系。
- Transformer 解码器:采用 Transformer 架构进行序列转换,包含多头自注意力模块和前馈模块。
- 输入特征:输入特征为 80 维的 log Mel 滤波器组,经过全局均值和方差归一化处理。
- 训练数据:训练数据包含约 7 万小时的高质量普通话音频数据,以及约 1.1 万小时的英语音频数据。
FireRedASR的项目地址
- Github仓库:https://github.com/FireRedTeam/FireRedASR
- HuggingFace模型库:https://huggingface.co/FireRedTeam/FireRedASR-AED-L
- arXiv技术论文:https://arxiv.org/pdf/2501.14350
FireRedASR的应用场景
- 智能语音助手:FireRedASR 可以用于开发智能语音助手,如智能家居控制、智能客服等。高精度的语音识别能力能准确理解用户的语音指令,提供流畅的交互体验。
- 视频和直播:在短视频和直播领域,FireRedASR 能实时生成字幕,帮助观众更好地理解内容。
- 歌词识别:FireRedASR 在歌词识别场景中表现尤为突出,能广泛应用于音乐平台和卡拉OK等场景。
- 语音输入:FireRedASR 可以用于语音输入场景,如语音打字、语音笔记等。高效的推理能力和高精度的识别效果能显著提升用户的输入效率。
FireRedASR适合哪些语音识别场景?
它适合智能语音助手、短视频与直播字幕、语音输入、歌词识别等场景。文章显示其在普通话、中文方言和英语识别上都有较强表现,尤其适合对准确率要求高的应用。
FireRedASR-LLM和AED有什么区别?
LLM 版采用 Encoder-Adapter-LLM 框架,追求极致识别精度;AED 版采用注意力编码器-解码器架构,更强调高性能与计算效率。前者 CER 更低,后者更适合兼顾部署效率。
FireRedASR为什么适合做歌词识别?
文章指出 FireRedASR-LLM 在歌词识别场景中 CER 相对降低 50.2%~66.7%,说明它对复杂语音内容和文本节奏的适配能力较强,因此很适合音乐平台和卡拉OK等应用。
方言和歌词识别为何更难?
因为发音变体、连读、省略和节奏变化会显著增加解码难度。实操上要补充方言语料、歌词对齐数据和噪声增强,并针对高频混淆词做后处理纠错。
LLM版和AED版该怎么选?
如果追求最低错误率和复杂语义理解,优先选 LLM 版;如果更看重实时性、成本和部署效率,AED 版更合适。生产中常见做法是先用 AED 跑主流程,再对疑难片段升级重识别。
