# Lyra – SmartMore联合多所高校推出的增强多模态交互能力

- Link: https://paooo.com/aigc-news/24815/
- Published: 2026-07-09T21:48:29+08:00
- Author: Prompt 语宙研究院

## Lyra是什么

Lyra是香港中文大学、SmartMore和香港科技大学推出的高效多模态大型语言模型（MLLM），
专注于提升语音、视觉和语言模态的交互能力。Lyra基于开源大型模型、多模态LoRA模块和
潜在的多模态正则化器，减少训练成本和数据需求。Lyra构建大规模的多模态数据集，包括
长语音样本，处理复杂的长语音输入，实现强大的全模态认知能力。在多种模态理解和推理
任务中，Lyra达到最先进的性能，同时在计算资源和训练数据的使用上更为高效。

阅读目录

 * [Lyra是什么](https://paooo.com/aigc-news/24815/#lyra%e6%98%af%e4%bb%80%e4%b9%88)
 * [Lyra的主要功能](https://paooo.com/aigc-news/24815/#lyra%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Lyra的技术原理](https://paooo.com/aigc-news/24815/#lyra%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Lyra的项目地址](https://paooo.com/aigc-news/24815/#lyra%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Lyra的应用场景](https://paooo.com/aigc-news/24815/#lyra%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Lyra](https://paooo.com/wp-content/uploads/2026/07/Lyra-website-1.avif)

## Lyra的主要功能

 * **多模态理解与推理**：Lyra能理解和处理图像、视频、音频和文本等多种模态的数据，
   执行复杂的理解和推理任务。
 * ** 语音中心能力**：模型特别强化对语音的理解，包括长语音的识别和处理，在语音交互
   方面表现出色。
 * **高效处理**：Lyra在训练和推理时更加高效，用更少的数据和计算资源，适合实时和长
   上下文的多模态应用。
 * ** 流式生成**：支持同时生成文本和语音输出，在对话和交互中实时响应。
 * **跨模态交互**：基于潜在的多模态正则化器和提取器，加强不同模态之间的信息交互，
   提升模型性能。

## Lyra的技术原理

 * **多模态LoRA（Low-Rank Adaptation）**：基于了LoRA技术适配多模态输入，模型在保留
   原有视觉能力的同时，发展在语音模态中的能力，减少训练数据的需求。
 * **潜在跨模态正则化器**：基于动态时间弯曲（Dynamic Time Warping, DTW）算法，将
   语音令牌与对应的文本令牌对齐，让语音模态的输入在语义上与文本模态保持一致。
 * **潜在多模态提取器**：基于评估不同模态令牌与文本查询的相关性，动态选择和保留与
   任务最相关的令牌，提高训练和推理的效率。
 * **长语音能力集成**：构建专门的长语音SFT数据集，基于压缩技术处理长语音令牌，让
   模型处理长达数小时的音频输入。
 * **流式文本-语音生成**：集成流式生成机制，支持模型在生成文本的同时输出对应的语音，
   实现无缝的多模态交互体验。
 * **数据集构建**：为训练和优化Lyra，研究者构建包含150万多个多模态样本和1.2万多个
   长语音样本的高质量数据集，数据覆盖丰富的场景和领域。

## Lyra的项目地址

 * **项目官网**：[lyra-omni](https://lyra-omni.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/dvlab-research/Lyra](https://github.com/dvlab-research/Lyra)
 * **HuggingFace模型库**：[https://huggingface.co/collections/zszhong/lyra-data](https://huggingface.co/collections/zszhong/lyra-data-675d80fbab80334eb52cdd82)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.09501](https://arxiv.org/pdf/2412.09501)

## Lyra的应用场景

 * **智能助手**：作为智能助手，理解和响应用户的语音指令，提供信息查询、日程管理、
   提醒设置等服务。
 * **客户服务**：在客户服务领域，基于语音和文本交互，处理客户咨询、投诉和技术支持
   等问题。
 * **教育和培训**：作为教育辅助工具，提供语音讲解、课程内容理解和问答，以及语言学习
   中的发音和听力训练。
 * **健康医疗**：在医疗领域，帮助患者通过语音咨询健康问题，或作为医生的辅助工具，
   理解和总结患者的医疗记录。
 * **内容审核**：分析图像、视频和文本内容，进行内容审核，识别和过滤不当内容。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/24815/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)