---
title: "DanceGRPO – 字节Seed联合港大推出的统一视觉生成强化学习框架"
url: "https://paooo.com/aigc-news/18945/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T18:12:22+08:00"
updated_at: "2026-06-07T20:03:19+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, DeepSeek, Flux, stable diffusion, 大模型微调"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# DanceGRPO – 字节Seed联合港大推出的统一视觉生成强化学习框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18945/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 首次统一 diffusion 与 rectified flow 的视觉生成强化学习框架，覆盖图像、视频多任务。
- 通过 MDP、SDE 与 GRPO 目标优化，提升生成质量、稳定性，并降低显存压力。
- 支持多奖励模型聚合与共享初始化噪声，减少 reward hacking，适合大规模训练。

## DanceGRPO是什么

DanceGRPO 是字节跳动 Seed 和香港大学联合推出的首个统一视觉生成强化学习框架。将强化学习应用在视觉生成领域，覆盖两大生成范式（diffusion 和 rectified flow）、三项任务（文本到图像、文本到视频、图像到视频）、四种基础模型（SD、HunyuanVideo、FLUX、SkyReels-I2V）及五类奖励模型（图像视频美学、图文对齐、视频动态质量、二元奖励）。DanceGRPO 解决现有视觉生成任务中 RLHF 方案的局限性，实现在多种生成范式、任务、基础模型和奖励模型之间的无缝适应，显著提升模型性能，降低显存压力，适应大型 prompt 数据集训练，能迁移到 rectified flow 和视频生成模型。

## DanceGRPO的主要功能

- ****提升视觉生成质量****：让生成的图像和视频更符合人类审美，更逼真、自然。

- ****统一多种生成范式和任务****：适用于文本到图像、文本到视频、图像到视频等多种任务。

- ****适应多种模型和奖励****：兼容多种基础模型和奖励模型，满足多样化需求。

- ****提高训练效率和稳定性****：降低显存压力，提高训练效率，增强训练稳定性。

- ****增强人类反馈学习能力****：让模型更好地从人类反馈中学习，生成更符合人类期望的内容。

## DanceGRPO的技术原理

- ****将去噪过程建模为马尔可夫决策过程****：将 diffusion 模型和 rectified flows 的去噪过程建模为马尔可夫决策过程（MDP），将 prompt 作为状态的一部分，将去噪过程中的每一步操作视为一个动作，为强化学习的应用提供基础框架。

- ****基于******** SDE 采样方程****：为满足 GRPO 对随机探索的要求，将 diffusion 模型和 rectified flows 的采样过程统一表述为随机微分方程（SDE）的形式。对于 diffusion 模型，正向 SDE 描述数据逐渐加噪的过程，对应的逆向 SDE 用生成数据，对于 rectified flows，基于引入 SDE 实现逆向过程的随机性，为强化学习提供必要的随机探索机制。

- ****应用 GRPO 目标函数进行优化****：借鉴 Deepseek-R1 中的 GRPO 策略，给定一个 prompt，生成一组输出样本，基于最大化 GRPO 的目标函数优化策略模型。目标函数考虑奖励信号及不同样本之间的优势函数，模型能在训练过程中更好地学习到如何根据奖励信号调整生成策略，提高生成结果的质量和与人类偏好的一致性。

- ****初始化噪声和时间步选择策略****：在 DanceGRPO 框架中，初始化噪声是一个关键因素。为避免 reward hacking 现象，DanceGRPO 为来自相同文本提示的样本分配共享的初始化噪声。DanceGRPO 用时间步选择策略，基于选择适当的优化时间步，在不降低性能的前提下减少计算量，提高训练效率。

- ****多奖励模型的集成与优势函数聚合****：为确保训练的稳定性和生成结果的高质量，DanceGRPO 在实践中用多个奖励模型。由于不同的奖励模型可能具有不同的量纲和分布，DanceGRPO 基于优势函数聚合的方法，更好地平衡不同奖励模型的贡献，让模型在优化过程中综合考虑多个方面的评价指标，生成更符合人类期望的视觉内容。

## DanceGRPO的项目地址

- **项目官网**：[https://dancegrpo.github.io/](https://dancegrpo.github.io/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/XueZeyue/DanceGRPO](https://github.com/XueZeyue/DanceGRPO)

- **arXiv技术论文**：[https://arxiv.org/pdf/2505.07818](https://arxiv.org/pdf/2505.07818)

## DanceGRPO的应用场景

- ****文本到图像生成****：根据文本描述生成高质量图像，用在广告设计、游戏开发等领域，提升创作效率。

- ****文本到视频生成****：依据文本生成流畅、连贯的视频，适用视频广告、教育视频制作，减少人工成本。

- ****图像到视频生成****：将静态图像转化为动态视频，用在动画制作、虚拟现实，丰富视觉体验。

- ****多模态内容创作****：结合文本、图像和视频生成多样化内容，应用在多媒体教育、互动娱乐等，增强沉浸感。

- ****创意设计和艺术创作****：辅助艺术家和设计师快速生成创意灵感和艺术作品，激发更多创意，提高创作效率。

## 常见问题解答 (FAQ)

### DanceGRPO 主要解决什么问题？
它主要解决视觉生成中 RLHF 方案难以统一不同生成范式、任务和基础模型的问题。通过把 diffusion 与 rectified flow 纳入同一强化学习框架，DanceGRPO 能更稳定地优化图像和视频生成质量，并降低训练显存压力。

### DanceGRPO 支持哪些视觉生成任务？
文章提到它覆盖三类任务：文本到图像、文本到视频、图像到视频。也就是说，它不仅能用于静态图像生成，还能扩展到视频生成与图生视频等场景，适配面更广。

### DanceGRPO 为什么适合大规模训练？
因为它采用共享初始化噪声、时间步选择策略和多奖励模型优势函数聚合，在不明显牺牲性能的前提下减少计算量，并提升训练稳定性，适合大 prompt 数据集和多模型联合优化。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
