Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DanceGRPO – 字节Seed联合港大推出的统一视觉生成强化学习框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DanceGRPO – 字节Seed联合港大推出的统一视觉生成强化学习框架
Prompt 语宙 > AIGC 资讯 > DanceGRPO – 字节Seed联合港大推出的统一视觉生成强化学习框架
AIGC 资讯

DanceGRPO – 字节Seed联合港大推出的统一视觉生成强化学习框架

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:03
AI视频生成 DeepSeek Flux stable diffusion 大模型微调
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 首次统一 diffusion 与 rectified flow 的视觉生成强化学习框架,覆盖图像、视频多任务。
  • 通过 MDP、SDE 与 GRPO 目标优化,提升生成质量、稳定性,并降低显存压力。
  • 支持多奖励模型聚合与共享初始化噪声,减少 reward hacking,适合大规模训练。

DanceGRPO是什么

DanceGRPO 是字节跳动 Seed 和香港大学联合推出的首个统一视觉生成强化学习框架。将强化学习应用在视觉生成领域,覆盖两大生成范式(diffusion 和 rectified flow)、三项任务(文本到图像、文本到视频、图像到视频)、四种基础模型(SD、HunyuanVideo、FLUX、SkyReels-I2V)及五类奖励模型(图像视频美学、图文对齐、视频动态质量、二元奖励)。DanceGRPO 解决现有视觉生成任务中 RLHF 方案的局限性,实现在多种生成范式、任务、基础模型和奖励模型之间的无缝适应,显著提升模型性能,降低显存压力,适应大型 prompt 数据集训练,能迁移到 rectified flow 和视频生成模型。

阅读目录
  • DanceGRPO是什么
  • DanceGRPO的主要功能
  • DanceGRPO的技术原理
  • DanceGRPO的项目地址
  • DanceGRPO的应用场景

DanceGRPO

DanceGRPO的主要功能

  • 提升视觉生成质量:让生成的图像和视频更符合人类审美,更逼真、自然。
  • 统一多种生成范式和任务:适用于文本到图像、文本到视频、图像到视频等多种任务。
  • 适应多种模型和奖励:兼容多种基础模型和奖励模型,满足多样化需求。
  • 提高训练效率和稳定性:降低显存压力,提高训练效率,增强训练稳定性。
  • 增强人类反馈学习能力:让模型更好地从人类反馈中学习,生成更符合人类期望的内容。

DanceGRPO的技术原理

  • 将去噪过程建模为马尔可夫决策过程:将 diffusion 模型和 rectified flows 的去噪过程建模为马尔可夫决策过程(MDP),将 prompt 作为状态的一部分,将去噪过程中的每一步操作视为一个动作,为强化学习的应用提供基础框架。
  • 基于 SDE 采样方程:为满足 GRPO 对随机探索的要求,将 diffusion 模型和 rectified flows 的采样过程统一表述为随机微分方程(SDE)的形式。对于 diffusion 模型,正向 SDE 描述数据逐渐加噪的过程,对应的逆向 SDE 用生成数据,对于 rectified flows,基于引入 SDE 实现逆向过程的随机性,为强化学习提供必要的随机探索机制。
  • 应用 GRPO 目标函数进行优化:借鉴 Deepseek-R1 中的 GRPO 策略,给定一个 prompt,生成一组输出样本,基于最大化 GRPO 的目标函数优化策略模型。目标函数考虑奖励信号及不同样本之间的优势函数,模型能在训练过程中更好地学习到如何根据奖励信号调整生成策略,提高生成结果的质量和与人类偏好的一致性。
  • 初始化噪声和时间步选择策略:在 DanceGRPO 框架中,初始化噪声是一个关键因素。为避免 reward hacking 现象,DanceGRPO 为来自相同文本提示的样本分配共享的初始化噪声。DanceGRPO 用时间步选择策略,基于选择适当的优化时间步,在不降低性能的前提下减少计算量,提高训练效率。
  • 多奖励模型的集成与优势函数聚合:为确保训练的稳定性和生成结果的高质量,DanceGRPO 在实践中用多个奖励模型。由于不同的奖励模型可能具有不同的量纲和分布,DanceGRPO 基于优势函数聚合的方法,更好地平衡不同奖励模型的贡献,让模型在优化过程中综合考虑多个方面的评价指标,生成更符合人类期望的视觉内容。

DanceGRPO的项目地址

  • 项目官网:https://dancegrpo.github.io/
  • GitHub仓库:https://github.com/XueZeyue/DanceGRPO
  • arXiv技术论文:https://arxiv.org/pdf/2505.07818

DanceGRPO的应用场景

  • 文本到图像生成:根据文本描述生成高质量图像,用在广告设计、游戏开发等领域,提升创作效率。
  • 文本到视频生成:依据文本生成流畅、连贯的视频,适用视频广告、教育视频制作,减少人工成本。
  • 图像到视频生成:将静态图像转化为动态视频,用在动画制作、虚拟现实,丰富视觉体验。
  • 多模态内容创作:结合文本、图像和视频生成多样化内容,应用在多媒体教育、互动娱乐等,增强沉浸感。
  • 创意设计和艺术创作:辅助艺术家和设计师快速生成创意灵感和艺术作品,激发更多创意,提高创作效率。
❓ 常见问题解答(FAQ)
DanceGRPO 主要解决什么问题?

它主要解决视觉生成中 RLHF 方案难以统一不同生成范式、任务和基础模型的问题。通过把 diffusion 与 rectified flow 纳入同一强化学习框架,DanceGRPO 能更稳定地优化图像和视频生成质量,并降低训练显存压力。

DanceGRPO 支持哪些视觉生成任务?

文章提到它覆盖三类任务:文本到图像、文本到视频、图像到视频。也就是说,它不仅能用于静态图像生成,还能扩展到视频生成与图生视频等场景,适配面更广。

DanceGRPO 为什么适合大规模训练?

因为它采用共享初始化噪声、时间步选择策略和多奖励模型优势函数聚合,在不明显牺牲性能的前提下减少计算量,并提升训练稳定性,适合大 prompt 数据集和多模型联合优化。

🔬 语宙深潜追问 · 进阶实操拆解
RL怎么同时优化文生图和文生视频?

先把不同任务的奖励统一到可比较的目标上,比如美学、一致性、指令遵循和时序稳定。再用共享策略骨干、任务特定奖励头和分层采样,减少任务间互相干扰。

如何降低视觉生成RL的显存压力?

常见做法是减少长轨迹保存、做奖励缓存和梯度累积,并把部分评估移到离线阶段。若基础模型支持参数高效微调,还能进一步把训练成本压到可控范围。

🗳️ 读者观点微投票 · 您的实战立场是?
统一视觉生成强化学习,最先利好谁?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🧬 所属权威专题:RAG 知识库与模型微调 →
  • BlockDance – 复旦联合字节推出的扩散模型加速方法
  • 打破视频生成步数与画质悖论!港中文联合字节跳动重磅开源 DuoMatching:双重分布匹配、1075万参数 LatentBridge 与 2 步极速生成深度架构拆解
  • MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型
  • GPDiT – 清华北大联合阶跃星辰等推出的视频生成模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
EXAONE 3.5 – LG 推出的开源AI模型,擅长长文本处理降低模型幻觉问题
清华智谱发布Vision2Web:首个三层递进式AI建站能力评估基准,重新定义Agent开发边界
STIV – 苹果公司推出的视频生成大模型
港大开源 Nanobot:仅4000行代码打造全能AI助手,43万行代码实现99%生产力
DiffBrush – 北邮联合清华等机构推出的图像生成与编辑框架
TAGGED:AI视频生成DeepSeekFluxstable diffusion大模型微调
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 AI-ClothingTryOn – AI虚拟试穿应用,支持生成多版本试衣效果 AI-ClothingTryOn – AI虚拟试穿应用,支持生成多版本试衣效果
下一篇 文心大模型X1 Turbo – 百度推出的最新深度思考型模型 文心大模型X1 Turbo – 百度推出的最新深度思考型模型
Ad image
Ad image

最近更新

Hello Partner 深度报道主图:2026 年黑五消费前夕 Barclays 与 KPMG 对英国消费者使用 AI 工具比价给出悬殊数据
55%用AI找黑五折扣还是仅12%问大模型?Barclays与KPMG调研打架真相:零点击比价、84%返利盲区与联盟归因断层全拆解
AI 工具
The Verge 专题主视觉:开发者正借助 Claude Code 与 Codex 等 AI 编程工具改造电视、相机与嵌入式硬件固件
从电视去广告到PS5跑老盘!Vibe Coding正席卷消费硬件固件:Take-Two预警强硬DRM反制与ESP32安全替代路径全拆解
最新趋势
Rest of World 调查揭示 AI 大模型数据产业链现状:高学历专家与全球劳动力正在被平台纳入按件计费的零工模式
美国心脏科医生时薪180美元、东南亚仅7.5美元?揭秘大模型“专家零工化”暗面:Scale AI与Mercor的算力人力套利
AIGC 资讯
Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势

相关推荐

Artificial Art
AI 工具

Artificial Art

remaker
AI办公效率 AI绘画提示词 stable diffusion 开源大模型
MiMo Code – 小米开源的终端 AI 编程助手
AIGC 资讯

MiMo Code – 小米开源的终端 AI 编程助手

Prompt 语宙研究院
AI编程 Claude Cursor DeepSeek Kimi
Phi-3.5 – 微软推出的新一代AI模型,mini、MoE混合和视觉模型
AIGC 资讯

Phi-3.5 – 微软推出的新一代AI模型,mini、MoE混合和视觉模型

Prompt 语宙研究院
AI编程 Gemini HuggingFace Llama 开源大模型
TryOffAnyone – 将模特穿着服装的图像还原成平铺商品图的 AI 工具
AIGC 资讯

TryOffAnyone – 将模特穿着服装的图像还原成平铺商品图的 AI 工具

Prompt 语宙研究院
AI办公效率 HuggingFace stable diffusion 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.