# DeepSeek-GRM – DeepSeek 联合清华推出的通用奖励模型

- Link: https://paooo.com/aigc-news/20546/
- Published: 2026-06-08T07:11:48+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 通过GRM生成“原则+分析”的结构化评价，而非单一标量分数，提升奖励建模质量。
 * SPCT结合拒绝式微调与在线强化学习，增强模型自适应生成高质量点评的能力。
 * 在综合奖励模型基准中表现优异，且推理时扩展性突出，采样次数增加性能持续提升。

## DeepSeek-GRM是什么

DeepSeek-GRM是[DeepSeek](https://ai-bot.cn/sites/6130.html)和清华大学研究者共同提出
的通用奖励模型（Generalist Reward Modeling）。通过点式生成式奖励建模（Pointwise 
Generative Reward Modeling, GRM）和自我原则点评调优（Self-Principled Critique Tuning,
SPCT）等技术，显著提升了奖励模型的质量和推理时的可扩展性。GRM通过生成结构化的评价
文本（包括评价原则和对回答的详细分析）来输出奖励分数，不是直接输出单一的标量值。
DeepSeek-GRM在多个综合奖励模型基准测试中表现优异，显著优于现有方法和多个公开模型。
推理时扩展性能尤为突出，随着采样次数增加，性能持续提升。

阅读目录

 * [DeepSeek-GRM是什么](https://paooo.com/aigc-news/20546/#deepseekgrm%e6%98%af%e4%bb%80%e4%b9%88)
 * [DeepSeek-GRM的主要功能](https://paooo.com/aigc-news/20546/#deepseekgrm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DeepSeek-GRM的技术原理](https://paooo.com/aigc-news/20546/#deepseekgrm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DeepSeek-GRM的项目地址](https://paooo.com/aigc-news/20546/#deepseekgrm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DeepSeek-GRM的应用场景](https://paooo.com/aigc-news/20546/#deepseekgrm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DeepSeek-GRM](https://paooo.com/wp-content/uploads/2026/06/DeepSeek-GRM-website-
1.avif)

## DeepSeek-GRM的主要功能

 * **智能问答与对话**：能快速回答各类问题，涵盖科学知识、历史文化、生活常识、技术
   问题等。[DeepSeek](https://paooo.com/?s=DeepSeek)可以与用户进行智能对话，理解
   用户的意图和情感，给出相应的回答。
 * **内容生成**：可以生成多种类型的内容，包括新闻报道、学术论文、商业文案、小说故事
   等。
 * **数据分析与可视化**：能处理Excel表格、CSV文件等数据，进行数据清洗、统计分析，
   并生成可视化图表。
 * **推理与逻辑能力**：在数学、逻辑推理等方面表现出色，能够进行多步骤的推理和思考，
   解决复杂的推理任务。
 * **API集成**：提供API接口，方便开发者将其集成到自己的应用中，实现更广泛的应用场景。

## DeepSeek-GRM的技术原理

 * **点式生成式奖励建模（GRM）**：通过生成结构化的评价文本（包括评价原则和对回答
   的详细分析）来输出奖励分数，不是直接输出单一的标量值。提高了输入的灵活性，为推理
   时扩展提供了潜力。
 * **自我原则点评调优（SPCT）**：通过拒绝式微调和基于规则的在线强化学习两个阶段，
   训练 GRM 模型自适应生成高质量的评价原则和准确的点评内容。
 * **元奖励模型（Meta RM）**：用于评估 GRM 生成的评价原则和点评的质量，筛选出高质量
   的样本进行投票，进一步提升推理时的扩展性能。
 * **多Token预测（MTP）**：支持模型在一次前向传播中预测多个词元，提升了训练效率和
   推理速度。
 * **相对策略优化**（Group Relative Policy Optimization）：通过比较同一任务上不同
   推理路径的相对优劣来优化模型的策略。
 * **混合专家架构（MoE）**：通过动态选择专家网络，减少不必要的计算量，提升模型处理
   复杂任务的速度和灵活性。
 * **FP8混合精度训练**：在训练时使用更合适的数据精度，减少计算量，节省时间和成本。

## DeepSeek-GRM的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.02495](https://arxiv.org/pdf/2504.02495)

## DeepSeek-GRM的应用场景

 * **精准农业管理**：通过传感器实时监测土壤湿度、光照强度等参数，自动调节灌溉与施肥
   方案，提高资源利用效率。
 * **智能驾驶**：通过深度学习模型处理多源传感器数据，实现精准环境感知和决策。
 * **自然语言处理（NLP）**：包括文本生成、对话系统、机器翻译、情感分析、文本分类、
   信息抽取等。
 * **代码生成与理解**：支持代码自动补全、代码生成、代码优化、错误检测与修复，支持
   多种编程语言。
 * **知识问答与搜索增强**：结合搜索引擎，提供实时、准确的知识问答。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

❓ 常见问题解答（FAQ）

DeepSeek-GRM和普通奖励模型有什么区别？

DeepSeek-GRM不是直接输出单一分数，而是先生成包含评价原则和详细分析的结构化文本，
再据此给出奖励分数。这种方式更灵活，也更利于推理时扩展和提升评价质量。

DeepSeek-GRM为什么说推理时扩展性强？

因为它支持通过增加采样次数来持续提升效果。文章提到其推理时扩展性能尤为突出，随着
采样次数增加，整体表现会继续变好，适合需要更高质量评估的场景。

DeepSeek-GRM适合哪些应用场景？

文章列出的场景包括自然语言处理、代码生成与理解、知识问答与搜索增强，也可用于智能
驾驶和精准农业管理等需要高质量评估与决策支持的任务。

🔬 语宙深潜追问 · 进阶实操拆解

SPCT 生成评价如何落到训练管线？

可把 SPCT 输出拆成结构化维度分数与理由，作为 reward model 的监督信号，再与人类偏好
数据混训。关键是统一评分标尺、过滤低一致性样本，并在不同任务上做校准，避免模型学会“
迎合格式”而非真实质量。

采样越多性能越强，推理成本怎么控？

可以采用分层采样：先少量样本做粗筛，再对高不确定样本加采样；或按任务难度动态分配
采样预算。线上部署时优先做缓存、早停和置信度阈值控制，把多采样留给高价值请求。

🗳️ 读者观点微投票 · 您的实战立场是？

通用奖励模型真能替代人工偏好标注吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [LongReward – 清华、中科院、智谱AI联合推出提升长文本大语言模型性能的方法](https://paooo.com/aigc-news/25862/)
 * [Skywork-Reward – 昆仑万维推出的高性能奖励模型，辅助智能体决策](https://paooo.com/aigc-news/26960/)
 * [Skywork-VL Reward – Skywork AI开源的多模态奖励模型](https://paooo.com/aigc-news/18933/)
 * [昆仑万维重磅开源Skywork-Reward-V2：8款奖励模型横扫七大榜单，4000万数据集驱动AI对齐新突破](https://paooo.com/aigc-news/14541/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20546/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
