---
title: "NVIDIA 发布 Nemotron 3 Embed 系列，8B 版本登顶 RTEB 检索基准"
url: "https://paooo.com/aigc-news/31341/"
author: "Prompt 语宙研究院"
published_at: "2026-07-17T17:26:20+08:00"
updated_at: "2026-07-17T17:26:20+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, AI编程, RAG检索增强, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# NVIDIA 发布 Nemotron 3 Embed 系列，8B 版本登顶 RTEB 检索基准

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/31341/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-17

## AI 30 秒核心看点 (TL;DR)

- 8B-BF16 在 RTEB 16 项任务中以平均 NDCG@10 78.46 登顶，成为开源检索嵌入新标杆。
- 1B-NVFP4 仅损失 0.38 分、保留 99.5% 精度，并在 Blackwell 上吞吐量较 BF16 提升 2 倍。
- 系列支持 32K 长上下文、34 种语言与多框架部署，适合企业搜索、代码检索和智能体记忆。

NVIDIA 近日发布了 Nemotron3Embed 系列嵌入向量模型，专为生产级 RAG、智能体检索、代码检索及智能体记忆等场景设计。其中8B 版本在检索嵌入基准测试 RTEB 上排名第一，成为当前该领域性能最强的开源模型。

该系列包含三个开放检查点:Nemotron-3-Embed-8B-BF16（精度优先）、Nemotron-3-Embed-1B-BF16(轻量化版本)以及 Nemotron-3-Embed-1B-NVFP4(针对 Blackwell 架构优化的4比特版本)。三者均采用双向注意力掩码训练的 Transformer 编码器，最大序列长度均为32，768个 token，支持34种语言，并采用 OpenMDW-1.1许可协议开源。值得注意的是，其基础模型均基于 Mistral 架构，8B 版本源自 Ministral-3-8B-Instruct-2512，两个1B 变体则基于 Ministral-3-3B-Instruct-2512。

在 RTEB 基准的16项公开任务测试中，8B-BF16版本以平均 NDCG@10得分78.46位列榜首。1B-BF16版本得分72.38，相较上一代基线 llama-nemotron-embed-vl-1b-v2提升了10.4分。而针对 Blackwell 优化的1B-NVFP4版本仅损失0.38分，相当于保留了99.5% 的精度，同时在 Blackwell 架构上吞吐量比 BF16提升2倍。

1B 模型的构建采用了压缩而非小规模训练的路径。研发团队先使用 NVIDIA ModelOpt 的神经架构搜索将3B 基础模型剪枝至2B，再从微调后的8B 嵌入向量教师模型中通过余弦距离损失和均方误差损失进行知识蒸馏，最终迭代至1.14B 参数。NVFP4版本则在此基础上进行了量化感知蒸馏，使用512个样本校准、2万个样本训练，在长输入场景下恢复了精度。

在部署层面，三个版本存在差异:8B 和1B 的 BF16版本支持 Transformers 和 Sentence Transformers 框架，而1B-NVFP4仅支持 vLLM0.25.0的 /v2/embed 接口。微架构覆盖方面，NVFP4版本兼容 Ampere、Hopper、Lovelace 和 Blackwell，而 BF16版本主要面向 Ampere、Hopper 和 Blackwell。NVIDIA 还发布了针对1B 模型的优化版 NIM 微服务，基于 Rust 构建，在 GB200和 RTX PRO6000上达到或超越了 vLLM 检查点的性能。

应用场景方面，该系列模型支持多语言企业搜索（跨语言检索）、代码检索(训练数据包含 SWE-bench 等代码数据集)以及智能体记忆(32K token 长上下文支持较长对话摘要嵌入)。对于成本敏感场景，可采用"1B-NVFP4处理高容量召回 +8B 处理困难查询"的分层 RAG 策略。

NVIDIA 同时提供了完整的代码示例，涵盖基于 Sentence Transformers 的本地推理和基于 vLLM 的服务端部署，查询和文档分别通过 `query:` 和 `passage:` 前缀区分，嵌入向量经 L2归一化处理后点积即等于余弦相似度。

## 📊 NVIDIA Nemotron 3 Embed 系列模型对比表

> 核心发现：图中展示的是 Nemotron 3 Embed 不同版本的能力与部署配置对比，其中 8B-BF16 和 1B-BF16 都支持 Transformers/Sentence Transformers 且 vLLM 版本一致为 0.25.0，而 1B-NVFP4 不支持该框架并采用更广泛的硬件适配。

| 特性 | 8B-BF16 | 1B-BF16 | 1B-NVFP4 |
| --- | --- | --- | --- |
| Transformers / Sentence Transformers | 是 | 是 | 否 |
| 用于 /v2/embed 的 vLLM | 0.25.0 | 0.25.0 | 0.25.0 |
| 微架构 | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell |
| 测试硬件 | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 |
| 训练数据 | 5000 万以上样本 | 850 万以上（蒸馏） | 2 万（QAD） |

## 常见问题解答 (FAQ)

### Nemotron 3 Embed 适合做什么？
它主要面向生产级 RAG、智能体检索、代码检索和智能体记忆等场景，尤其适合多语言企业搜索、长上下文摘要嵌入，以及需要高召回和高精度兼顾的检索系统。

### 8B 版本为什么被认为最强？
因为 Nemotron-3-Embed-8B-BF16 在 RTEB 检索嵌入基准的 16 项公开任务中，平均 NDCG@10 达到 78.46，位列第一，体现了当前开源检索嵌入模型的领先性能。

### 1B-NVFP4 版本部署有什么优势？
它针对 Blackwell 架构做了量化感知蒸馏优化，在精度几乎不损失的前提下提升吞吐量，适合成本敏感场景；但部署接口仅支持 vLLM 0.25.0 的 /v2/embed。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
