# ModernBERT – 英伟达和 HuggingFace 等机构联合开源的新一代编码器模型

- Link: https://paooo.com/aigc-news/24574/
- Published: 2026-07-08T11:18:29+08:00
- Author: 站外新闻

## ModernBERT是什么

ModernBERT是Answer.AI、LightOn、约翰斯·霍普金斯大学、英伟达和HuggingFace联合推出
的现代编码器-only Transformer模型，是对经典BERT模型的一次重大升级。ModernBERT在2
万亿token的大规模数据上训练，支持长达8192 token的序列长度，显著提升处理长上下文的
能力。ModernBERT在多种自然语言处理任务上性能赶超SOTA，同时速度是DeBERTa的两倍，特别
适合信息检索、文本分类和实体识别等应用。模型现已开源，供学术界和工业界研究和应用。

阅读目录

 * [ModernBERT是什么](https://paooo.com/aigc-news/24574/#modernbert%e6%98%af%e4%bb%80%e4%b9%88)
 * [ModernBERT的主要功能](https://paooo.com/aigc-news/24574/#modernbert%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ModernBERT的技术原理](https://paooo.com/aigc-news/24574/#modernbert%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [ModernBERT的项目地址](https://paooo.com/aigc-news/24574/#modernbert%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ModernBERT的应用场景](https://paooo.com/aigc-news/24574/#modernbert%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ModernBERT](https://paooo.com/wp-content/uploads/2026/07/ModernBERT-website-1.
avif)

## ModernBERT的主要功能

 * **长上下文处理**：支持长达8192 token的序列，相较于传统模型，大幅提升处理长文本
   的能力。
 * **信息检索**：在语义搜索和文档检索任务中，ModernBERT能更有效地表示文档和查询，
   提高检索准确性。
 * **文本分类**：包括情感分析、内容审核等任务，能快速进行文本分类。
 * **实体识别**：在自然实体识别（NER）任务中，识别文本中的特定实体。
 * **代码检索**：在编程语言相关的任务中也表现出色，能处理和检索大量代码信息。
 * **效率提升**：在保持高性能的同时，在速度和内存使用上进行优化，让模型更加高效。

## ModernBERT的技术原理

 * **现代化Transformer架构**：基于Transformer架构改进，包括旋转位置嵌入（RoPE）和
   GeGLU激活函数，有助于模型更好地理解和处理长序列数据。
 * **参数优化**：移除不必要的偏置项，更有效地利用参数预算，简化模型架构。
 * **注意力机制**：引入交替的全局和局部注意力机制，提高模型处理长文本的效率。
 * **Unpadding和序列打包**：去除填充（Unpadding）和序列打包（Sequence Packing），
   减少计算浪费，提高训练和推理的效率。
 * **硬件感知模型设计**：在设计时考虑硬件的利用，基于优化模型结构最大化GPU的利用
   率。
 * **大规模训练数据**：在2万亿token的大规模数据集上进行训练，包括网络文档、编程代码
   和科学文章，让模型具有更广泛的语言理解和应用能力。

## ModernBERT的项目地址

 * **GitHub仓库**：[https://github.com/AnswerDotAI/ModernBERT](https://github.com/AnswerDotAI/ModernBERT)
 * **HuggingFace模型库**：[https://huggingface.co/collections/answerdotai/modernbert](https://huggingface.co/collections/answerdotai/modernbert-67627ad707a4acbf33c41deb)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.13663](https://arxiv.org/pdf/2412.13663)

## ModernBERT的应用场景

 * **语义搜索与信息检索**：构建更加精准的搜索引擎，理解用户查询的语义，提供更相关
   的搜索结果。
 * **内容推荐系统**：在推荐系统中，理解用户的兴趣和内容的语义，推荐更符合用户偏好
   的信息。
 * **自然语言理解（NLU）任务**：包括情感分析、意图识别、语言推理等，提供更深层次
   的语言理解。
 * **文本分类**：分类新闻文章、客户反馈、社交媒体帖子等，便于内容管理和分析。
 * **问答系统**：在问答系统中，理解复杂问题并从大量文档中检索出正确答案。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)