---
title: "VideoReward – 港中文、清华、快手等联合推出的视频生成偏好数据集及奖励模型"
url: "https://paooo.com/aigc-news/22390/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T10:53:21+08:00"
updated_at: "2026-06-09T10:53:21+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# VideoReward – 港中文、清华、快手等联合推出的视频生成偏好数据集及奖励模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/22390/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 18.2 万条人类偏好标注，覆盖 VQ、MQ、TA 三维度，专为视频生成优化。
- 提出 Flow-DPO、Flow-RWR 与 Flow-NRG 三种对齐方法，兼顾训练与推理阶段。
- 实验表明可提升视频连贯性和文本对齐，Flow-DPO 效果优于 Flow-RWR 与 SFT。

## VideoReward是什么

VideoReward 是香港中文大学、清华大学、快手科技等联合创建的视频生成偏好数据集及奖励模型。包含182,000条标注数据，涵盖视觉质量、运动质量和文本对齐三个维度，用于优化视频生成模型。奖励模型基于人类反馈，通过多维度对齐算法（如Flow-DPO、Flow-RWR）和推理时技术（如Flow-NRG），显著提升视频生成的连贯性和文本对齐效果。Flow-NRG支持用户自定义权重，满足个性化需求。

## VideoReward的主要功能

- **构建大规模偏好数据集**：VideoReward包含182,000条标注数据，涵盖视觉质量（VQ）、运动质量（MQ）和文本对齐（TA）三个关键维度，用于捕捉用户对生成视频的偏好。

- **多维度奖励模型**：基于强化学习，VideoReward引入了三种对齐算法，包括训练时策略（如Flow-DPO和Flow-RWR）和推理时技术（如Flow-NRG），用于优化视频生成。

- **个性化需求支持**：Flow-NRG支持用户在推理时为多个目标分配自定义权重，满足个性化的视频质量需求。

- **提升视频生成质量**：通过人类反馈，VideoReward能显著提升视频生成的连贯性和与提示文本的对齐效果，优于现有的奖励模型。

## VideoReward的技术原理

- **对齐算法**：VideoReward引入了三种对齐算法，这些算法扩展自扩散模型的方法，专门针对基于流的模型设计：

**Flow-DPO（直接偏好优化）**：在训练阶段，直接优化模型以匹配人类偏好的视频对。

- **Flow-RWR（奖励加权回归）**：通过奖励加权的方式优化模型，使其更符合人类反馈。

- **Flow-NRG（噪声视频奖励引导）**：在推理阶段，直接将奖励引导应用于噪声视频，支持用户为多个目标分配自定义权重，满足个性化需求。

- **人类反馈优化**：通过人类反馈，VideoReward能显著提升视频生成的连贯性和与提示文本的对齐效果。实验结果表明，VideoReward在性能上优于现有的奖励模型，Flow-DPO相比Flow-RWR和标准监督微调方法表现更优。

## VideoReward的项目地址

- **项目官网**：[https://gongyeliu.github.io/videoalign/](https://gongyeliu.github.io/videoalign/?utm_source=ai-bot.cn)

- **arXiv技术论文**：[https://arxiv.org/pdf/2501.13918](https://arxiv.org/pdf/2501.13918)

## VideoReward的应用场景

- **视频生成质量优化**：VideoReward 通过大规模人类偏好数据集和多维度奖励模型，显著提升了视频生成的质量，特别是在视觉质量、运动连贯性和文本对齐方面。

- **个性化视频生成**：VideoReward 的 Flow-NRG 技术支持用户在推理时为多个目标分配自定义权重，满足个性化的视频质量需求。

- **视频生成模型的训练与微调**：VideoReward 提供的多维度奖励模型和对齐算法（如 Flow-DPO 和 Flow-RWR）可用于训练和微调视频生成模型。

- **用户偏好分析与研究**：VideoReward 的大规模偏好数据集涵盖了视觉质量、运动质量和文本对齐等多个维度。

- **视频内容创作与编辑**：在视频内容创作和编辑领域，VideoReward 可以帮助生成更高质量的视频素材，提升创作效率。

## 常见问题解答 (FAQ)

### VideoReward 主要解决什么问题？
它主要解决视频生成模型“看起来好但不够对齐”的问题，通过人类偏好数据和奖励模型，同时优化视觉质量、运动质量与文本对齐，让生成视频更连贯、更符合提示词。

### VideoReward 和 Flow-DPO 有什么关系？
Flow-DPO 是 VideoReward 提出的对齐方法之一，属于训练阶段的直接偏好优化方案。文中实验结论显示，Flow-DPO 相比 Flow-RWR 和标准监督微调方法表现更优。

### Flow-NRG 能做什么？
Flow-NRG 是推理时的噪声视频奖励引导技术，支持用户为多个目标分配自定义权重，适合需要个性化视频质量控制的场景。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
