# VideoReward – 港中文、清华、快手等联合推出的视频生成偏好数据集及奖励模型

- Link: https://paooo.com/aigc-news/22390/
- Published: 2026-06-09T10:53:21+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 18.2 万条人类偏好标注，覆盖 VQ、MQ、TA 三维度，专为视频生成优化。
 * 提出 Flow-DPO、Flow-RWR 与 Flow-NRG 三种对齐方法，兼顾训练与推理阶段。
 * 实验表明可提升视频连贯性和文本对齐，Flow-DPO 效果优于 Flow-RWR 与 SFT。

## VideoReward是什么

VideoReward 是香港中文大学、清华大学、快手科技等联合创建的视频生成偏好数据集及奖励
模型。包含182,000条标注数据，涵盖视觉质量、运动质量和文本对齐三个维度，用于优化视频
生成模型。奖励模型基于人类反馈，通过多维度对齐算法（如Flow-DPO、Flow-RWR）和推理
时技术（如Flow-NRG），显著提升视频生成的连贯性和文本对齐效果。Flow-NRG支持用户自
定义权重，满足个性化需求。

阅读目录

 * [VideoReward是什么](https://paooo.com/aigc-news/22390/#videoreward%e6%98%af%e4%bb%80%e4%b9%88)
 * [VideoReward的主要功能](https://paooo.com/aigc-news/22390/#videoreward%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VideoReward的技术原理](https://paooo.com/aigc-news/22390/#videoreward%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VideoReward的项目地址](https://paooo.com/aigc-news/22390/#videoreward%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VideoReward的应用场景](https://paooo.com/aigc-news/22390/#videoreward%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VideoReward](https://paooo.com/wp-content/uploads/2026/06/VideoReward-website-
1.avif)

## VideoReward的主要功能

 * **构建大规模偏好数据集**：VideoReward包含182,000条标注数据，涵盖视觉质量（VQ）、
   运动质量（MQ）和文本对齐（TA）三个关键维度，用于捕捉用户对生成视频的偏好。
 * **多维度奖励模型**：基于强化学习，VideoReward引入了三种对齐算法，包括训练时策略（
   如Flow-DPO和Flow-RWR）和推理时技术（如Flow-NRG），用于优化视频生成。
 * **个性化需求支持**：Flow-NRG支持用户在推理时为多个目标分配自定义权重，满足个性
   化的视频质量需求。
 * **提升视频生成质量**：通过人类反馈，VideoReward能显著提升视频生成的连贯性和与
   提示文本的对齐效果，优于现有的奖励模型。

## VideoReward的技术原理

 * **对齐算法**：VideoReward引入了三种对齐算法，这些算法扩展自扩散模型的方法，专门
   针对基于流的模型设计：
    - **Flow-DPO（直接偏好优化）**：在训练阶段，直接优化模型以匹配人类偏好的视频
      对。
    - **Flow-RWR（奖励加权回归）**：通过奖励加权的方式优化模型，使其更符合人类反馈。
    - **Flow-NRG（噪声视频奖励引导）**：在推理阶段，直接将奖励引导应用于噪声视频，
      支持用户为多个目标分配自定义权重，满足个性化需求。
 * **人类反馈优化**：通过人类反馈，VideoReward能显著提升视频生成的连贯性和与提示
   文本的对齐效果。实验结果表明，VideoReward在性能上优于现有的奖励模型，Flow-DPO
   相比Flow-RWR和标准监督微调方法表现更优。

## VideoReward的项目地址

 * **项目官网**：[https://gongyeliu.github.io/videoalign/](https://gongyeliu.github.io/videoalign/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.13918](https://arxiv.org/pdf/2501.13918)

## VideoReward的应用场景

 * **视频生成质量优化**：VideoReward 通过大规模人类偏好数据集和多维度奖励模型，显著
   提升了视频生成的质量，特别是在视觉质量、运动连贯性和文本对齐方面。
 * **个性化视频生成**：VideoReward 的 Flow-NRG 技术支持用户在推理时为多个目标分配
   自定义权重，满足个性化的视频质量需求。
 * **视频生成模型的训练与微调**：VideoReward 提供的多维度奖励模型和对齐算法（如 
   Flow-DPO 和 Flow-RWR）可用于训练和微调视频生成模型。
 * **用户偏好分析与研究**：VideoReward 的大规模偏好数据集涵盖了视觉质量、运动质量
   和文本对齐等多个维度。
 * **视频内容创作与编辑**：在视频内容创作和编辑领域，VideoReward 可以帮助生成更高
   质量的视频素材，提升创作效率。

❓ 常见问题解答（FAQ）

VideoReward 主要解决什么问题？

它主要解决视频生成模型“看起来好但不够对齐”的问题，通过人类偏好数据和奖励模型，同时
优化视觉质量、运动质量与文本对齐，让生成视频更连贯、更符合提示词。

VideoReward 和 Flow-DPO 有什么关系？

Flow-DPO 是 VideoReward 提出的对齐方法之一，属于训练阶段的直接偏好优化方案。文中
实验结论显示，Flow-DPO 相比 Flow-RWR 和标准监督微调方法表现更优。

Flow-NRG 能做什么？

Flow-NRG 是推理时的噪声视频奖励引导技术，支持用户为多个目标分配自定义权重，适合需要
个性化视频质量控制的场景。

🔬 语宙深潜追问 · 进阶实操拆解

偏好数据怎么标才最有效？

优先把“视觉质量、运动质量、文本对齐”拆成独立维度标注，并加入成对比较而非绝对打分。
训练时用偏好优化比纯监督更能放大细粒度差异，且要定期做噪声清洗与标注一致性校验。

Flow-DPO落地要避开什么坑？

先保证采样分布覆盖长镜头、复杂运动和提示词歧义场景，否则偏好学习容易只优化“容易样本”。
同时要控制奖励过拟合，结合离线评测与人工复核，避免模型学会投机取巧。

🗳️ 读者观点微投票 · 您的实战立场是？

视频生成该先押偏好对齐还是画质堆料？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Skywork-VL Reward – Skywork AI开源的多模态奖励模型](https://paooo.com/aigc-news/18933/)
 * [LongReward – 清华、中科院、智谱AI联合推出提升长文本大语言模型性能的方法](https://paooo.com/aigc-news/25862/)
 * [DeepSeek-GRM – DeepSeek 联合清华推出的通用奖励模型](https://paooo.com/aigc-news/20546/)
 * [昆仑万维重磅开源Skywork-Reward-V2：8款奖励模型横扫七大榜单，4000万数据集驱动AI对齐新突破](https://paooo.com/aigc-news/14541/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22390/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
