# Skywork-VL Reward – Skywork AI开源的多模态奖励模型

- Link: https://paooo.com/aigc-news/18933/
- Published: 2026-06-08T14:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 Qwen2.5-VL-7B-Instruct 加奖励头，输出与人类偏好对齐的标量奖励分数。
 * 在 VL-RewardBench 取得 73.1 SOTA，RewardBench 达 90.1，实测表现突出。
 * 结合混合偏好优化（MPO）与高质量偏好数据，显著提升多模态推理能力。

## Skywork-VL Reward是什么

Skywork-VL Reward是Skywork AI开源的多模态奖励模型，能为多模态理解和推理任务提供可靠
的奖励信号。模型基于Qwen2.5-VL-7B-Instruct架构，基于添加奖励头结构，用成对偏好数据
进行训练，输出与人类偏好对齐的标量奖励分数。模型在VL-RewardBench上取得了73.1的SOTA
成绩，在RewardBench上表现出色，达到90.1的高分。Skywork-VL Reward基于混合偏好优化（
MPO）显著提升多模态推理能力，为多模态强化学习领域带来新的突破。

阅读目录

 * [Skywork-VL Reward是什么](https://paooo.com/aigc-news/18933/#skyworkvl-reward%e6%98%af%e4%bb%80%e4%b9%88)
 * [Skywork-VL Reward的主要功能](https://paooo.com/aigc-news/18933/#skyworkvl-reward%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Skywork-VL Reward的技术原理](https://paooo.com/aigc-news/18933/#skyworkvl-reward%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Skywork-VL Reward的项目地址](https://paooo.com/aigc-news/18933/#skyworkvl-reward%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Skywork-VL Reward的应用场景](https://paooo.com/aigc-news/18933/#skyworkvl-reward%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Skywork-VL Reward](https://paooo.com/wp-content/uploads/2026/06/Skywork-VL-Reward-
website-1.avif)

## Skywork-VL Reward的主要功能

 * **评估多模态输出**：对视觉-语言模型（VLM）生成的输出进行质量评估，判断是否符合
   人类偏好。
 * **提供奖励信号**：输出标量奖励分数，反映生成内容的质量或与人类偏好的对齐程度。
 * **支持多模态任务**：适用多种多模态任务，如图像描述、复杂推理等，具有广泛的适用
   性。
 * **提升模型性能**：基于生成高质量的偏好数据，支持混合偏好优化（MPO），显著提升
   多模态推理能力。

## Skywork-VL Reward的技术原理

 * **模型架构**：基于 Qwen2.5-VL-7B-Instruct 架构，架构包含视觉编码器（Vision Transformer）、
   视觉-语言适配器和语言模型解码器。在基础模型的基础上，添加一个奖励头结构，用在
   输出标量奖励分数。奖励头基于全连接层处理最终隐藏状态，生成奖励分数。
 * **数据集构建**：整合多个开源偏好数据集（如 LLaVA-Critic-113k、Skywork-Reward-
   Preference-80K-v0.2、RLAIF-V-Dataset）及内部标注的复杂推理任务数据。基于去重、
   相似性过滤和偏好判断过滤等步骤，确保数据的高质量和一致性。用高级 VLM 推理器生成
   高质量的偏好数据，增强模型的泛化能力。
 * **训练方法**：基于成对偏好损失函数，比较两个候选响应的优劣训练模型，让模型能学习
   到相对排名。两阶段微调，第一阶段用多模态偏好数据进行训练，第二阶段加入纯文本偏好
   数据，进一步提升模型在纯文本场景下的性能。

## Skywork-VL Reward的项目地址

 * **HuggingFace模型库**：[https://huggingface.co/Skywork/Skywork-VL-Reward](https://huggingface.co/Skywork/Skywork-VL-Reward-7B)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.07263](https://arxiv.org/pdf/2505.07263)

## Skywork-VL Reward的应用场景

 * **内容生成评估**：评估多模态内容生成的质量，如图像描述、视频字幕等，判断生成内容
   是否准确且符合人类偏好。
 * **推理任务优化**：在复杂多模态推理任务中，如视觉问答、几何问题等，评估推理过程
   和结果的合理性，帮助优化推理模型。
 * **模型对齐**：确保多模态模型的输出与人类价值观和道德标准对齐，避免生成有害或误导
   性内容。
 * **混合偏好优化（MPO）**：作为MPO训练的关键组件，提供高质量偏好数据，提升多模态
   模型的推理能力和泛化性能。
 * **基准测试**：作为多模态任务的基准测试工具，评估和比较不同模型的性能，推动多模
   态技术的发展。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Skywork ↗**

昆仑万维面向全球推出的天工超级智能体。

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Skywork-VL Reward主要用来做什么？

它主要用于评估视觉-语言模型输出质量，提供与人类偏好对齐的奖励分数，并支持图像描述、
视觉问答、复杂推理等多模态任务的优化与对齐。

Skywork-VL Reward的技术核心是什么？

核心是基于 Qwen2.5-VL-7B-Instruct 架构加奖励头，并用成对偏好数据训练。模型通过比较
候选响应学习相对优劣，输出标量奖励分数。

Skywork-VL Reward的实测效果怎么样？

文章给出的结果显示，它在 VL-RewardBench 上达到 73.1 的 SOTA，在 RewardBench 上达到
90.1，说明其多模态奖励建模与偏好对齐能力较强。

🔬 语宙深潜追问 · 进阶实操拆解

奖励模型怎么接入MPO训练？

先用奖励模型对候选输出打分，作为偏好信号筛选高质量样本，再将分数转成优化目标参与
MPO更新。实践中要控制奖励偏置，配合少量人工校验，避免模型只学会“讨好打分器”。

多模态奖励模型评估要注意什么？

不能只看单一榜单分数，要同时检查跨任务泛化、图文一致性、细粒度偏好和鲁棒性。尤其在
长尾场景里，奖励模型容易偏向表面相关性，最好加入人工抽检和对抗样本验证。

🗳️ 读者观点微投票 · 您的实战立场是？

多模态奖励模型，真能替代人工标注吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Skywork-Reward – 昆仑万维推出的高性能奖励模型，辅助智能体决策](https://paooo.com/aigc-news/26960/)
 * [昆仑万维重磅开源Skywork-Reward-V2：8款奖励模型横扫七大榜单，4000万数据集驱动AI对齐新突破](https://paooo.com/aigc-news/14541/)
 * [Skywork-R1V 2.0 – 昆仑万维开源的新版多模态推理模型](https://paooo.com/aigc-news/20199/)
 * [LongReward – 清华、中科院、智谱AI联合推出提升长文本大语言模型性能的方法](https://paooo.com/aigc-news/25862/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18933/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
