---
title: "Skywork-VL Reward – Skywork AI开源的多模态奖励模型"
url: "https://paooo.com/aigc-news/18933/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T14:12:22+08:00"
updated_at: "2026-06-07T20:03:09+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, HuggingFace, 大模型微调, 开源大模型, 通义千问"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Skywork-VL Reward – Skywork AI开源的多模态奖励模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18933/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 基于 Qwen2.5-VL-7B-Instruct 加奖励头，输出与人类偏好对齐的标量奖励分数。
- 在 VL-RewardBench 取得 73.1 SOTA，RewardBench 达 90.1，实测表现突出。
- 结合混合偏好优化（MPO）与高质量偏好数据，显著提升多模态推理能力。

## Skywork-VL Reward是什么

Skywork-VL Reward是Skywork AI开源的多模态奖励模型，能为多模态理解和推理任务提供可靠的奖励信号。模型基于Qwen2.5-VL-7B-Instruct架构，基于添加奖励头结构，用成对偏好数据进行训练，输出与人类偏好对齐的标量奖励分数。模型在VL-RewardBench上取得了73.1的SOTA成绩，在RewardBench上表现出色，达到90.1的高分。Skywork-VL Reward基于混合偏好优化（MPO）显著提升多模态推理能力，为多模态强化学习领域带来新的突破。

## Skywork-VL Reward的主要功能

- ****评估多模态输出****：对视觉-语言模型（VLM）生成的输出进行质量评估，判断是否符合人类偏好。

- ****提供奖励信号****：输出标量奖励分数，反映生成内容的质量或与人类偏好的对齐程度。

- ****支持多模态任务****：适用多种多模态任务，如图像描述、复杂推理等，具有广泛的适用性。

- ****提升模型性能****：基于生成高质量的偏好数据，支持混合偏好优化（MPO），显著提升多模态推理能力。

## Skywork-VL Reward的技术原理

- ****模型架构****：基于 Qwen2.5-VL-7B-Instruct 架构，架构包含视觉编码器（Vision Transformer）、视觉-语言适配器和语言模型解码器。在基础模型的基础上，添加一个奖励头结构，用在输出标量奖励分数。奖励头基于全连接层处理最终隐藏状态，生成奖励分数。

- ****数据集构建****：整合多个开源偏好数据集（如 LLaVA-Critic-113k、Skywork-Reward-Preference-80K-v0.2、RLAIF-V-Dataset）及内部标注的复杂推理任务数据。基于去重、相似性过滤和偏好判断过滤等步骤，确保数据的高质量和一致性。用高级 VLM 推理器生成高质量的偏好数据，增强模型的泛化能力。

- ****训练方法****：基于成对偏好损失函数，比较两个候选响应的优劣训练模型，让模型能学习到相对排名。两阶段微调，第一阶段用多模态偏好数据进行训练，第二阶段加入纯文本偏好数据，进一步提升模型在纯文本场景下的性能。

## Skywork-VL Reward的项目地址

- **HuggingFace模型库**：[https://huggingface.co/Skywork/Skywork-VL-Reward](https://huggingface.co/Skywork/Skywork-VL-Reward-7B)

- **arXiv技术论文**：[https://arxiv.org/pdf/2505.07263](https://arxiv.org/pdf/2505.07263)

## Skywork-VL Reward的应用场景

- ****内容生成评估****：评估多模态内容生成的质量，如图像描述、视频字幕等，判断生成内容是否准确且符合人类偏好。

- ****推理任务优化****：在复杂多模态推理任务中，如视觉问答、几何问题等，评估推理过程和结果的合理性，帮助优化推理模型。

- ****模型对齐****：确保多模态模型的输出与人类价值观和道德标准对齐，避免生成有害或误导性内容。

- ****混合偏好优化（MPO）****：作为MPO训练的关键组件，提供高质量偏好数据，提升多模态模型的推理能力和泛化性能。

- ****基准测试****：作为多模态任务的基准测试工具，评估和比较不同模型的性能，推动多模态技术的发展。

## 常见问题解答 (FAQ)

### Skywork-VL Reward主要用来做什么？
它主要用于评估视觉-语言模型输出质量，提供与人类偏好对齐的奖励分数，并支持图像描述、视觉问答、复杂推理等多模态任务的优化与对齐。

### Skywork-VL Reward的技术核心是什么？
核心是基于 Qwen2.5-VL-7B-Instruct 架构加奖励头，并用成对偏好数据训练。模型通过比较候选响应学习相对优劣，输出标量奖励分数。

### Skywork-VL Reward的实测效果怎么样？
文章给出的结果显示，它在 VL-RewardBench 上达到 73.1 的 SOTA，在 RewardBench 上达到 90.1，说明其多模态奖励建模与偏好对齐能力较强。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
