# NVIDIA 发布 Nemotron 3 Embed 系列，8B 版本登顶 RTEB 检索基准

- Link: https://paooo.com/aigc-news/31341/
- Published: 2026-07-17T17:26:20+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 8B-BF16 在 RTEB 16 项任务中以平均 NDCG@10 78.46 登顶，成为开源检索嵌入新标杆。
 * 1B-NVFP4 仅损失 0.38 分、保留 99.5% 精度，并在 Blackwell 上吞吐量较 BF16 提升
   2 倍。
 * 系列支持 32K 长上下文、34 种语言与多框架部署，适合企业搜索、代码检索和[智能体](https://paooo.com/trends/)
   记忆。

NVIDIA 近日发布了 Nemotron3Embed 系列嵌入向量模型，专为生产级 RAG、智能体检索、代码
检索及智能体记忆等场景设计。其中8B 版本在检索嵌入基准测试 RTEB 上排名第一，成为当前
该领域性能最强的开源模型。

该系列包含三个开放检查点:Nemotron-3-Embed-8B-BF16（精度优先）、Nemotron-3-Embed-
1B-BF16(轻量化版本)以及 Nemotron-3-Embed-1B-NVFP4(针对 Blackwell 架构优化的4比特
版本)。三者均采用双向注意力掩码训练的 Transformer 编码器，最大序列长度均为32，768
个 token，支持34种语言，并采用 OpenMDW-1.1许可协议开源。值得注意的是，其基础模型
均基于 Mistral 架构，8B 版本源自 Ministral-3-8B-Instruct-2512，两个1B 变体则基于
Ministral-3-3B-Instruct-2512。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6391990522238181441086365-
1.avif "image.png")

在 RTEB 基准的16项公开任务测试中，8B-BF16版本以平均 NDCG@10得分78.46位列榜首。1B-
BF16版本得分72.38，相较上一代基线 llama-nemotron-embed-vl-1b-v2提升了10.4分。而针对
Blackwell 优化的1B-NVFP4版本仅损失0.38分，相当于保留了99.5% 的精度，同时在 Blackwell
架构上吞吐量比 BF16提升2倍。

1B 模型的构建采用了压缩而非小规模训练的路径。研发团队先使用 NVIDIA ModelOpt 的神经
架构搜索将3B 基础模型剪枝至2B，再从微调后的8B 嵌入向量教师模型中通过余弦距离损失
和均方误差损失进行知识蒸馏，最终迭代至1.14B 参数。NVFP4版本则在此基础上进行了量化
感知蒸馏，使用512个样本校准、2万个样本训练，在长输入场景下恢复了精度。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6391990523726995158665152.
avif "image.png")

在部署层面，三个版本存在差异:8B 和1B 的 BF16版本支持 Transformers 和 Sentence Transformers
框架，而1B-NVFP4仅支持 vLLM0.25.0的 /v2/embed 接口。微架构覆盖方面，NVFP4版本兼容
Ampere、Hopper、Lovelace 和 Blackwell，而 BF16版本主要面向 Ampere、Hopper 和 Blackwell。
NVIDIA 还发布了针对1B 模型的优化版 NIM 微服务，基于 Rust 构建，在 GB200和 RTX PRO6000
上达到或超越了 vLLM 检查点的性能。

应用场景方面，该系列模型支持多语言企业搜索（跨语言检索）、代码检索(训练数据包含 
SWE-bench 等代码数据集)以及智能体记忆(32K token 长上下文支持较长对话摘要嵌入)。对于
成本敏感场景，可采用”1B-NVFP4处理高容量召回 +8B 处理困难查询”的分层 RAG 策略。

NVIDIA 同时提供了完整的代码示例，涵盖基于 Sentence Transformers 的本地推理和基于
vLLM 的服务端部署，查询和文档分别通过 `query:` 和 `passage:` 前缀区分，嵌入向量经
L2归一化处理后点积即等于余弦相似度。

❓ 常见问题解答（FAQ）

Nemotron 3 Embed 适合做什么？

它主要面向生产级 RAG、智能体检索、代码检索和智能体记忆等场景，尤其适合多语言企业
搜索、长上下文摘要嵌入，以及需要高召回和高精度兼顾的检索系统。

8B 版本为什么被认为最强？

因为 Nemotron-3-Embed-8B-BF16 在 RTEB 检索嵌入基准的 16 项公开任务中，平均 NDCG@
10 达到 78.46，位列第一，体现了当前开源检索嵌入模型的领先性能。

1B-NVFP4 版本部署有什么优势？

它针对 Blackwell 架构做了量化感知蒸馏优化，在精度几乎不损失的前提下提升吞吐量，适合
成本敏感场景；但部署接口仅支持 vLLM 0.25.0 的 /v2/embed。

📊 NVIDIA Nemotron 3 Embed 系列模型对比表（AI 视觉结构化提取）

**核心发现：**图中展示的是 Nemotron 3 Embed 不同版本的能力与部署配置对比，其中 8B-
BF16 和 1B-BF16 都支持 Transformers/Sentence Transformers 且 vLLM 版本一致为 0.25.0，
而 1B-NVFP4 不支持该框架并采用更广泛的硬件适配。

| 特性 | 8B-BF16 | 1B-BF16 | 1B-NVFP4 | 
| Transformers / Sentence Transformers | 是 | 是 | 否 | 
| 用于 /v2/embed 的 vLLM | 0.25.0 | 0.25.0 | 0.25.0 | 
| 微架构 | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell | 
| 测试硬件 | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 | 
| 训练数据 | 5000 万以上样本 | 850 万以上（蒸馏） | 2 万（QAD） |

🔬 语宙深潜追问 · 进阶实操拆解

生产级RAG选嵌入模型先看什么？

先看检索质量、延迟、成本和领域适配，再看基准分数。若是代码检索或智能体记忆，还要
重点测试长文本切片、近义表达和多轮查询下的稳定性。

低精度部署会不会明显掉效果？

不一定，关键看量化后的语义保持能力。像面向Blackwell优化的低精度方案，如果在核心任务
上几乎零损耗，就能显著降低吞吐成本；但上线前必须做领域集回归测试。

🗳️ 读者观点微投票 · 您的实战立场是？

嵌入模型登顶后，RAG还该只拼召回吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Nemotron 3 Embed – 英伟达开源的文本嵌入模型系列](https://paooo.com/aigc-news/31363/)
 * [NVIDIA Nemotron Nano 2：9B参数推理提速6倍，开源高效AI模型新标杆](https://paooo.com/aigc-news/14052/)
 * [英伟达Nemotron 3 Super开源发布：1200亿参数Mamba-MoE架构，智能体推理速度提升3倍，性能直逼Claude Opus 4.6](https://paooo.com/aigc-news/11298/)
 * [英伟达开源OpenReasoning-Nemotron：基于DeepSeek蒸馏，数学推理超越o3，本地部署全攻略](https://paooo.com/aigc-news/14431/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/31341/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
