# Chinese-LiPS – 智源研究院联合南大开源的中文多模态语音识别数据集

- Link: https://paooo.com/aigc-news/18999/
- Published: 2026-06-09T09:12:22+08:00
- Author: 站外新闻

## Chinese-LiPS是什么

Chinese-LiPS 是智源研究院联合南开大学共同打造的高质量中文多模态[语音识别](https://ai-bot.cn/ai-speech-to-text-tools/)
数据集，包含100小时的语音、视频和手动转录文本，创新性地融合了唇读视频和演讲者的幻灯
片内容。幻灯片由领域专家精心设计，确保了视觉图像的高质量和丰富性。数据集通过结合
唇读和幻灯片信息，提升了语音识别性能，实验表明，唇读信息和幻灯片信息分别可提升ASR
性能约8%和25%，两者结合可提升约35%。面向中文讲解、科普、教学、知识传播等复杂语境。

阅读目录

 * [Chinese-LiPS是什么](https://paooo.com/aigc-news/18999/#chineselips%e6%98%af%e4%bb%80%e4%b9%88)
 * [Chinese-LiPS的主要功能](https://paooo.com/aigc-news/18999/#chineselips%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Chinese-LiPS的技术原理](https://paooo.com/aigc-news/18999/#chineselips%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Chinese-LiPS的项目地址](https://paooo.com/aigc-news/18999/#chineselips%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Chinese-LiPS的应用场景](https://paooo.com/aigc-news/18999/#chineselips%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Chinese-LiPS](https://paooo.com/wp-content/uploads/2026/06/Chinese-LiPS-website-
1.avif)

## Chinese-LiPS的主要功能

 * **提升语音识别性能**：数据集通过融合唇读信息和幻灯片语义信息，显著提升了语音识别
   系统的性能。实验结果显示，唇读信息可使字符错误率降低约8%，幻灯片信息可降低约25%，
   两者结合则可降低约35%。
 * **减少错误类型**：唇读信息在减少删除错误方面发挥了重要作用，能捕捉到与发音相关
   的细节，有效补充语音识别中容易缺失的部分，如填充词、因犹豫而未完整表达的语音片段
   等。幻灯片信息则显著降低了替换错误，丰富的语义和上下文信息，在面对专业词汇、地名
   等具有特定领域属性的词汇识别时，为模型提供关键的识别线索。
 * **提供高质量多模态数据**：作为一个高质量的多模态中文语音识别数据集，包含100小时
   的语音、视频和相应的手动转录，涵盖了唇读视频和演讲者的幻灯片，使音频视觉语音识别
   任务得到了更全面的探索。

## Chinese-LiPS的技术原理

 * **多模态数据融合**：数据集将语音、唇读信息、通过OCR技术从幻灯片提取的文本以及
   从图像和图形内容中获取的语义信息进行融合。多模态信息的结合，为语音识别模型提供
   了更丰富的上下文和线索，显著提升了识别的准确性和鲁棒性。
 * **唇读信息的作用**：唇读能捕捉到与发音相关的细节，如填充词、因犹豫而未完整表达
   的语音片段等容易在语音识别中缺失的部分，借助唇读信息可有效补充，减少删除错误。
 * **幻灯片信息的作用**：幻灯片中包含丰富的语义和上下文信息，在面对专业词汇、地名
   等具有特定领域属性的词汇识别时，能为模型提供关键的识别线索，大幅降低替换错误。

## Chinese-LiPS的项目地址

 * **项目官网**：[https://data.baai.ac.cn/datadetail/Chinese-LiPS](https://data.baai.ac.cn/datadetail/Chinese-LiPS?utm_source=ai-bot.cn)
 * **Github仓库**：[https://github.com/flageval-baai/Chinese-LiPS](https://github.com/flageval-baai/Chinese-LiPS)
 * **HuggingFace模型库**：[https://huggingface.co/datasets/BAAI/Chinese-LiPS](https://huggingface.co/datasets/BAAI/Chinese-LiPS)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.15066](https://arxiv.org/pdf/2504.15066)

## Chinese-LiPS的应用场景

 * **虚拟教师**：数据集能帮助制作互动式语言学习材料，使虚拟教师的讲解更生动。通过
   融合唇读信息和幻灯片语义信息，虚拟教师可以更自然地呈现教学内容，提高教学效果。
 * **智能辅导**：在智能辅导系统中，基于多模态语音识别技术，能更准确地理解学生的问题
   和需求，提供更个性化的辅导方案。
 * **博物馆、展览馆讲解**：在博物馆、展览馆等场所，虚拟讲解人可以用数据集提供的多
   模态信息，更生动、准确地介绍展品和展览内容，提升观众的参观体验。
 * **企业产品介绍**：企业可以用数据集制作虚拟讲解人，用于产品介绍、培训等场景，提高
   信息传递的效率和准确性。