# DanceGRPO – 字节Seed联合港大推出的统一视觉生成强化学习框架

- Link: https://paooo.com/aigc-news/18945/
- Published: 2026-06-08T18:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 首次统一 diffusion 与 rectified flow 的视觉生成强化学习框架，覆盖图像、视频多
   任务。
 * 通过 MDP、SDE 与 GRPO 目标优化，提升生成质量、稳定性，并降低显存压力。
 * 支持多奖励模型聚合与共享初始化噪声，减少 reward hacking，适合大规模训练。

## DanceGRPO是什么

DanceGRPO 是字节跳动 Seed 和香港大学联合推出的首个统一视觉生成强化学习框架。将强化
学习应用在视觉生成领域，覆盖两大生成范式（diffusion 和 rectified flow）、三项任务（
文本到图像、文本到视频、图像到视频）、四种基础模型（SD、HunyuanVideo、FLUX、SkyReels-
I2V）及五类奖励模型（图像视频美学、图文对齐、视频动态质量、二元奖励）。DanceGRPO
解决现有视觉生成任务中 RLHF 方案的局限性，实现在多种生成范式、任务、基础模型和奖励
模型之间的无缝适应，显著提升模型性能，降低显存压力，适应大型 prompt 数据集训练，
能迁移到 rectified flow 和视频生成模型。

阅读目录

 * [DanceGRPO是什么](https://paooo.com/aigc-news/18945/#dancegrpo%e6%98%af%e4%bb%80%e4%b9%88)
 * [DanceGRPO的主要功能](https://paooo.com/aigc-news/18945/#dancegrpo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DanceGRPO的技术原理](https://paooo.com/aigc-news/18945/#dancegrpo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DanceGRPO的项目地址](https://paooo.com/aigc-news/18945/#dancegrpo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DanceGRPO的应用场景](https://paooo.com/aigc-news/18945/#dancegrpo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DanceGRPO ](https://paooo.com/wp-content/uploads/2026/06/DanceGRPO-website-3-1.
avif)

## DanceGRPO的主要功能

 * **提升视觉生成质量**：让生成的图像和视频更符合人类审美，更逼真、自然。
 * **统一多种生成范式和任务**：适用于文本到图像、文本到视频、图像到视频等多种任务。
 * **适应多种模型和奖励**：兼容多种基础模型和奖励模型，满足多样化需求。
 * **提高训练效率和稳定性**：降低显存压力，提高训练效率，增强训练稳定性。
 * **增强人类反馈学习能力**：让模型更好地从人类反馈中学习，生成更符合人类期望的内容。

## DanceGRPO的技术原理

 * **将去噪过程建模为马尔可夫决策过程**：将 diffusion 模型和 rectified flows 的去
   噪过程建模为马尔可夫决策过程（MDP），将 prompt 作为状态的一部分，将去噪过程中的
   每一步操作视为一个动作，为强化学习的应用提供基础框架。
 * **基于**** SDE 采样方程**：为满足 GRPO 对随机探索的要求，将 diffusion 模型和 
   rectified flows 的采样过程统一表述为随机微分方程（SDE）的形式。对于 diffusion
   模型，正向 SDE 描述数据逐渐加噪的过程，对应的逆向 SDE 用生成数据，对于 rectified
   flows，基于引入 SDE 实现逆向过程的随机性，为强化学习提供必要的随机探索机制。
 * **应用 GRPO 目标函数进行优化**：借鉴 Deepseek-R1 中的 GRPO 策略，给定一个 prompt，
   生成一组输出样本，基于最大化 GRPO 的目标函数优化策略模型。目标函数考虑奖励信号
   及不同样本之间的优势函数，模型能在训练过程中更好地学习到如何根据奖励信号调整生成
   策略，提高生成结果的质量和与人类偏好的一致性。
 * **初始化噪声和时间步选择策略**：在 DanceGRPO 框架中，初始化噪声是一个关键因素。
   为避免 reward hacking 现象，DanceGRPO 为来自相同文本提示的样本分配共享的初始化
   噪声。DanceGRPO 用时间步选择策略，基于选择适当的优化时间步，在不降低性能的前提
   下减少计算量，提高训练效率。
 * **多奖励模型的集成与优势函数聚合**：为确保训练的稳定性和生成结果的高质量，DanceGRPO
   在实践中用多个奖励模型。由于不同的奖励模型可能具有不同的量纲和分布，DanceGRPO
   基于优势函数聚合的方法，更好地平衡不同奖励模型的贡献，让模型在优化过程中综合考虑
   多个方面的评价指标，生成更符合人类期望的视觉内容。

## DanceGRPO的项目地址

 * **项目官网**：[https://dancegrpo.github.io/](https://dancegrpo.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/XueZeyue/DanceGRPO](https://github.com/XueZeyue/DanceGRPO)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.07818](https://arxiv.org/pdf/2505.07818)

## DanceGRPO的应用场景

 * **文本到图像生成**：根据文本描述生成高质量图像，用在广告设计、游戏开发等领域，
   提升创作效率。
 * **文本到视频生成**：依据文本生成流畅、连贯的视频，适用视频广告、教育视频制作，
   减少人工成本。
 * **图像到视频生成**：将静态图像转化为动态视频，用在动画制作、虚拟现实，丰富视觉
   体验。
 * **多模态内容创作**：结合文本、图像和视频生成多样化内容，应用在多媒体教育、互动
   娱乐等，增强沉浸感。
 * **创意设计和艺术创作**：辅助艺术家和设计师快速生成创意灵感和艺术作品，激发更多
   创意，提高创作效率。

❓ 常见问题解答（FAQ）

DanceGRPO 主要解决什么问题？

它主要解决视觉生成中 RLHF 方案难以统一不同生成范式、任务和基础模型的问题。通过把
diffusion 与 rectified flow 纳入同一强化学习框架，DanceGRPO 能更稳定地优化图像和
视频生成质量，并降低训练显存压力。

DanceGRPO 支持哪些视觉生成任务？

文章提到它覆盖三类任务：文本到图像、文本到视频、图像到视频。也就是说，它不仅能用于
静态图像生成，还能扩展到视频生成与图生视频等场景，适配面更广。

DanceGRPO 为什么适合大规模训练？

因为它采用共享初始化噪声、时间步选择策略和多奖励模型优势函数聚合，在不明显牺牲性能
的前提下减少计算量，并提升训练稳定性，适合大 prompt 数据集和多模型联合优化。

🔬 语宙深潜追问 · 进阶实操拆解

RL怎么同时优化文生图和文生视频？

先把不同任务的奖励统一到可比较的目标上，比如美学、一致性、指令遵循和时序稳定。再
用共享策略骨干、任务特定奖励头和分层采样，减少任务间互相干扰。

如何降低视觉生成RL的显存压力？

常见做法是减少长轨迹保存、做奖励缓存和梯度累积，并把部分评估移到离线阶段。若基础
模型支持参数高效微调，还能进一步把训练成本压到可控范围。

🗳️ 读者观点微投票 · 您的实战立场是？

统一视觉生成强化学习，最先利好谁？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [BlockDance – 复旦联合字节推出的扩散模型加速方法](https://paooo.com/aigc-news/20820/)
 * [打破视频生成步数与画质悖论！港中文联合字节跳动重磅开源 DuoMatching：双重分布匹配、1075万参数 LatentBridge 与 2 步极速生成深度架构拆解](https://paooo.com/ai-tool/40397/)
 * [MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型](https://paooo.com/aigc-news/18719/)
 * [GPDiT – 清华北大联合阶跃星辰等推出的视频生成模型](https://paooo.com/aigc-news/18936/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18945/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
