# Self-Taught Evaluators – Meta推出的新型模型评估方法

- Link: https://paooo.com/aigc-news/26197/
- Published: 2026-07-18T21:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 无需人工标注，靠自我训练迭代生成偏好数据并提升评估器能力。
 * 基于 LLM 作为裁判生成推理轨迹与判断，Llama3-70B-Instruct 准确率显著提升。
 * 在 RewardBench 等协议上表现接近人工标注训练的顶级奖励模型。

## Self-Taught Evaluators是什么

Self-Taught Evaluators是一种新型的模型评估方法，基于自我训练的方式提高大型语言模型（
LLM）的评估能力，无需人工标注数据。从未经标记的指令开始，用迭代自我改进方案生成对比
模型输出。用LLM作为裁判，生成推理轨迹和最终判断。在每次迭代中重复，用改进的预测训练
模型。在实验中，Self-Taught Evaluators提高基于Llama3-70B-Instruct模型的评估准确性，
从75.4提高到88.3，在多数投票的情况下达到88.7，超越常用的LLM裁判如GPT-4，与用人工
标注数据训练的顶级奖励模型性能相当。

阅读目录

 * [Self-Taught Evaluators是什么](https://paooo.com/aigc-news/26197/#selftaught-evaluators%e6%98%af%e4%bb%80%e4%b9%88)
 * [Self-Taught Evaluators的主要功能](https://paooo.com/aigc-news/26197/#selftaught-evaluators%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Self-Taught Evaluators的技术原理](https://paooo.com/aigc-news/26197/#selftaught-evaluators%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Self-Taught Evaluators的项目地址](https://paooo.com/aigc-news/26197/#selftaught-evaluators%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Self-Taught Evaluators的应用场景](https://paooo.com/aigc-news/26197/#selftaught-evaluators%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Self-Taught Evaluators](https://paooo.com/wp-content/uploads/2026/07/Self-Taught-
Evaluators-website-1.avif)

## Self-Taught Evaluators的主要功能

 * **生成对比模型输出**：从未经标记的指令开始，基于提示生成不同质量的模型响应对。
 * **训练LLM作为裁判**：用LLM生成推理轨迹和最终判断，评估哪一响应更优。
 * **迭代自我改进**：在每次迭代中用当前模型的判断标注训练数据，微调模型，实现自我
   改进。
 * **评估模型性能**：在标准评估协议如RewardBench上评估模型的准确性，与人类评估结果
   进行比较。

## Self-Taught Evaluators的技术原理

 * **初始化**：假设访问大量人类编写的用户指令和一个初始的种子LLM。
 * **指令选择**：基于LLM对指令进行分类，选择具有挑战性和平衡分布的指令子集。
 * **响应对构建**：为每个选定的指令生成偏好数据，包括两个响应（优选和非优选），基于
   提示生成，确保非优选响应的质量低于优选响应。
 * **迭代训练**：包括判断注释和模型微调两个步骤。用当前模型生成推理轨迹和判断，如果
   判断正确则将示例添加到训练集中。用数据微调模型，为下一次迭代提供更新的模型。

## Self-Taught Evaluators的项目地址

 * **GitHub仓库**：[https://github.com/facebookresearch/RAM/tree/main/projects/self_taught_evaluator](https://github.com/facebookresearch/RAM/tree/main/projects/self_taught_evaluator)
 * **HuggingFace模型库**：[https://huggingface.co/datasets/facebook/Self-taught-evaluator-DPO-data](https://huggingface.co/datasets/facebook/Self-taught-evaluator-DPO-data)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2408.02666](https://arxiv.org/pdf/2408.02666)

## Self-Taught Evaluators的应用场景

 * **语言模型开发**：在开发新型的大型语言模型（LLM）时，Self-Taught Evaluators评估
   和优化模型的输出质量，确保模型生成的文本符合预期的标准。
 * **自动化内容评估**：在内容生产领域，如新闻机构、出版业或社交媒体平台，用在自动
   化评估内容的质量和准确性，提高内容审核的效率。
 * **教育和学术研究**：在教育领域，Self-Taught Evaluators作为辅助工具，帮助评估学生
   的写作作业或研究论文，提供反馈和改进建议。
 * **客服和技术支持**：在客户服务领域，用在评估自动回复系统的质量，确保回复既准确
   又有帮助，提升客户满意度。
 * **编程和代码生成**：对于需要代码生成和评估的场景，Self-Taught Evaluators能评估
   生成的代码片段的质量，帮助开发人员改进代码。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Facebook ↗**

Facebook 作为全球领先的社交网络平台，其核心功能早已超越了简单的照片分享。

❓ 常见问题解答（FAQ）

Self-Taught Evaluators 解决什么问题？

它主要解决[大模型](https://paooo.com/ai-study/)评估依赖人工标注、成本高且扩展慢的
问题。该方法通过自我训练生成对比样本、让 LLM 充当裁判并迭代优化，从而提升评估准确
性与可扩展性。

Self-Taught Evaluators 的核心流程是什么？

流程包括：从未标记指令中选择合适样本，生成优选与非优选响应对；再用 LLM 生成推理轨迹
和判断；将正确判断加入训练集，微调模型后进入下一轮迭代。

Self-Taught Evaluators 的实测效果如何？

文中实验显示，基于 Llama3-70B-Instruct 的评估准确率从 75.4 提升到 88.3，多数投票
时达到 88.7，超过常见 LLM 裁判如 GPT-4，并接近人工标注训练的顶级奖励模型。

🔬 语宙深潜追问 · 进阶实操拆解

Self-Taught Evaluators怎么落地最稳？

先用少量高质量人工样本做冷启动，再让模型自评与互评扩充数据；对齐目标要明确，比如
偏好、事实性或安全性。上线时保留抽检机制，防止评估标准漂移。

LLM当裁判会有哪些偏差？

常见问题是偏好模板化答案、对长答案更宽容、对特定风格有系统性偏见。实操中应混合多
裁判、加入对抗样本，并用人工基准集定期校准。

🗳️ 读者观点微投票 · 您的实战立场是？

无人工标注的模型评估，你觉得能替代人评吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [SWEET-RL – Meta 推出的多轮强化学习框架](https://paooo.com/aigc-news/20576/)
 * [LMMs-Eval – 专为多模态AI模型设计的统一评估框架](https://paooo.com/aigc-news/27253/)
 * [Nemotron-70B-Instruct – 英伟达推出的大语言模型](https://paooo.com/aigc-news/26271/)
 * [北大开源One-Eval：告别繁琐配置，自然语言驱动大模型评测，NL2Eval实现全链路自动化](https://paooo.com/aigc-news/10753/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/26197/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
