# TANGOFLUX – 英伟达联合新加坡科技设计大学开源的文本到音频生成模型

- Link: https://paooo.com/aigc-news/23468/
- Published: 2026-06-09T16:37:43+08:00
- Author: 站外新闻

## TANGOFLUX是什么

TANGOFLUX是高效的文本到音频生成模型，是新加坡科技设计大学（SUTD）和NVIDIA共同推出
的。模型拥有约5.15亿参数，能在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。TANGOFLUX
用CLAP-Ranked Preference Optimization（CRPO）框架，基于迭代生成和优化偏好数据来提升
模型的音频对齐能力。模型在客观和主观基准测试中均展现出优异的性能，在GitHub等平台
开源代码和模型，支持进一步的研究。

阅读目录

 * [TANGOFLUX是什么](https://paooo.com/aigc-news/23468/#tangoflux%e6%98%af%e4%bb%80%e4%b9%88)
 * [TANGOFLUX的主要功能](https://paooo.com/aigc-news/23468/#tangoflux%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [TANGOFLUX的技术原理](https://paooo.com/aigc-news/23468/#tangoflux%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [TANGOFLUX的项目地址](https://paooo.com/aigc-news/23468/#tangoflux%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [TANGOFLUX的应用场景](https://paooo.com/aigc-news/23468/#tangoflux%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![TANGOFLUX – 英伟达联合新加坡科技设计大学开源的文本到音频生成模型 - 配图](https://
paooo.com/wp-content/uploads/2026/06/TANGOFLUX-website1-1.avif)

## TANGOFLUX的主要功能

 * **高效音频生成**：TANGOFLUX能快速生成高质量的音频内容，在3.7秒内生成长达30秒的
   44.1kHz音频。
 * **文本到音频转换**：模型直接将文本描述转换为相应的音频输出，实现文本到音频的直接
   转换。
 * **偏好优化**：TANGOFLUX能优化音频输出更好地符合用户的偏好和输入文本的意图。
 * **非专有数据训练**：基于非专有数据集进行训练，让模型更加开放和可访问。

## TANGOFLUX的技术原理

 * **变分自编码器**：用VAE将音频波形编码成潜在的表示，从潜在表示中重构原始音频。
 * **文本和时长嵌入**：模型基于文本编码和时长编码来控制生成音频的内容和时长，实现
   对音频的可控生成。
 * **FluxTransformer架构**：基于FluxTransformer块构建，结合Diffusion Transformer(
   DiT) 和 Multimodal Diffusion Transformer (MMDiT)，处理文本提示和生成音频。
 * **流匹配（Flow Matching, FM）**：基于流匹配框架，学习从简单先验分布到复杂目标
   分布的映射，生成样本。
 * **CLAP-Ranked Preference Optimization (CRPO)**：CRPO框架基于迭代生成偏好数据对，
   优化音频对齐。用CLAP模型作为代理奖励模型，基于文本和音频的联合嵌入来评估音频输出
   的质量，并据此构建偏好数据集，进行偏好优化。
 * **直接偏好优化**：TANGOFLUX将DPO应用于流匹配，比较获胜和失败的音频样本来优化模型，
   提高音频与文本描述的对齐度。

## TANGOFLUX的项目地址

 * **项目官网**：[tangoflux.github.io](https://tangoflux.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/declare-lab/TangoFlux](https://github.com/declare-lab/TangoFlux)
 * **HuggingFace模型库**：[https://huggingface.co/declare-lab/TangoFlux](https://huggingface.co/declare-lab/TangoFlux)
 * **arXiv技术论文**：[https://export.arxiv.org/pdf/2412.21037](https://export.arxiv.org/pdf/2412.21037)
 * **在线体验Demo**：[https://huggingface.co/spaces/declare-lab/TangoFlux](https://huggingface.co/spaces/declare-lab/TangoFlux)

## TANGOFLUX的应用场景

 * **多媒体内容创作**：在电影、游戏、广告和视频制作中，用在生成背景音乐、声效和配音，
   提高制作效率并降低成本。
 * **音频制作和设计**：音乐制作人和声音设计师创作新的音乐作品或设计特定的声音效果。
 * **播客和有声书**：为播客或有声书自动生成背景音乐和声效，增强听众的听觉体验。
 * **教育和培训**：在教育领域，创建模拟真实场景的音频，辅助语言学习或专业技能训练。
 * **虚拟助手和聊天机器人**：为虚拟助手和聊天机器人提供更自然、更丰富的语音响应，
   提升用户交互体验。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)