# 腾讯重磅开源：KaLM-Embedding 12B多语言大模型，重新定义文本向量性能新标杆

- Link: https://paooo.com/aigc-news/13011/
- Published: 2026-06-17T11:42:22+08:00
- Author: 站外新闻

> **💡 站外导读：**随着大模型在RAG、语义搜索等领域的深度应用，高质量的文本向量成为
> 连接数据与智能的关键。传统嵌入模型常面临语义理解浅、跨语言能力弱、场景适配不灵活
> 等痛点。腾讯最新发布的KaLM-Embedding系列，尤其是12B参数的旗舰版本，通过创新的双向
> 注意力、多阶段训练与Matryoshka表示学习，直击这些痛点，为构建下一代AI应用提供了
> 强大的语义基石。

## KaLM-Embedding是什么

KaLM-Embedding 是腾讯团队推出的一系列高性能文本嵌入模型，通过先进的训练技术和高质量
数据提升文本嵌入的性能。最新版本 KaLM-Embedding-V2 在架构和训练方法上进行了多项创新，
例如移除因果注意力掩码以实现双向表示学习，采用多阶段训练流程（包括预训练、微调和
对比蒸馏），显著提升了模型的泛化能力和语义理解能力。最新的 KaLM-Embedding-Gemma3-
12B-2511 是系列的一个重要版本，基于更大的参数规模（12B 参数），进一步优化了模型性能，
适用于需要更高精度的复杂任务。

阅读目录

 * [KaLM-Embedding是什么](https://paooo.com/aigc-news/13011/#kalmembedding%e6%98%af%e4%bb%80%e4%b9%88)
 * [KaLM-Embedding的主要功能](https://paooo.com/aigc-news/13011/#kalmembedding%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [KaLM-Embedding的技术原理](https://paooo.com/aigc-news/13011/#kalmembedding%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [KaLM-Embedding的模型系列版本](https://paooo.com/aigc-news/13011/#kalmembedding%e7%9a%84%e6%a8%a1%e5%9e%8b%e7%b3%bb%e5%88%97%e7%89%88%e6%9c%ac)
 * [KaLM-Embedding的项目地址](https://paooo.com/aigc-news/13011/#kalmembedding%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [KaLM-Embedding的应用场景](https://paooo.com/aigc-news/13011/#kalmembedding%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13011/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![KaLM-Embedding](https://paooo.com/wp-content/uploads/2026/05/KaLM-Embedding-website-
1.avif)

## KaLM-Embedding的主要功能

 * **高效文本嵌入生成**：KaLM-Embedding 能将文本高效地转换为固定长度的嵌入向量，
   适用于多种自然语言处理任务，如检索、分类和语义匹配。
 * **多语言与跨语言能力**：支持多语言文本嵌入，能实现不同语言之间的语义对齐和跨语言
   检索，提升跨语言任务的性能。
 * **灵活的嵌入维度**：支持灵活维度的嵌入，通过 Matryoshka 表示学习技术，能在不同
   维度下保持高性能，适应多种应用场景。
 * **强大的下游任务适配**：适用于多种下游任务，包括文本分类、语义匹配、信息检索和
   聚类分析，为自然语言处理提供全面支持。

## KaLM-Embedding的技术原理

 * **双向注意力机制**：移除传统因果注意力掩码，采用双向注意力机制，使模型能够同时
   考虑上下文信息，提升语义表示的准确性。
 * **均值池化**：使用简单的均值池化方法将文本序列转换为固定长度的嵌入向量，确保模型
   输出的嵌入适用于多种下游任务。
 * **多阶段训练流程**：结合预训练、微调和对比蒸馏三个阶段，逐步提升模型的嵌入能力。
   预训练阶段使用大规模弱监督数据，微调阶段利用高质量监督数据，对比蒸馏阶段从更强
   的教师模型中学习细粒度知识。
 * **焦点重加权机制**：通过焦点损失（focal-style reweighting）重点关注难以学习的
   样本，优化训练过程，提升模型对难样本的学习能力。
 * **在线难负样本混合**：动态生成难负样本，持续提供信息量大的训练信号，避免负样本
   过时，增强模型的区分能力。
 * **Matryoshka 表示学习**：支持灵活维度的嵌入，通过 Matryoshka 技术在不同维度下
   保持高性能，适应多种应用场景。
 * **高质量数据支持**：采用多样化和高质量的数据集进行训练，结合任务特定指令、难负
   样本挖掘和多类别标记等技术，确保嵌入质量。
 * **对比学习与蒸馏**：使用 InfoNCE 损失函数进行对比学习，通过对比蒸馏从更强的教师
   模型中学习细粒度的软信号，进一步优化模型性能。
 * **温度系数调整**：在对比蒸馏中引入温度系数，通过调整温度系数优化学习信号的分布，
   提升模型的学习效率。
 * **灵活的模型架构**：基于紧凑的模型架构（如 0.5B 参数规模），在保持高效性的同时，
   实现高性能的文本嵌入。

## KaLM-Embedding的模型系列版本

 * **KaLM-Embedding-V1**：是系列的初始版本，基于紧凑的模型架构，采用因果注意力掩
   码，主要用于基础的文本嵌入任务。
 * **KaLM-Embedding-V2**：在 V1 的基础上进行了多项改进，移除了因果注意力掩码以实现
   双向表示学习，引入了多阶段训练流程，包括预训练、微调和对比蒸馏，显著提升了模型
   性能。
 * **KaLM-Embedding-V2.5**：是 V2 的进一步优化版本，通过对比蒸馏从更强的教师模型
   中学习细粒度的软信号，进一步提升模型的嵌入能力和泛化性能。
 * **KaLM-Embedding-Gemma3-12B-2511**：是最新版本，基于更大参数规模（12B 参数）的
   版本，进一步优化了模型性能，适用于需要更高精度的复杂任务。

## KaLM-Embedding的项目地址

 * **项目官网**：https://kalm-embedding.github.io/
 * **HuggingFace模型库**：https://huggingface.co/tencent/KaLM-Embedding-Gemma3-12B-
   2511
 * **arXiv技术论文**：https://arxiv.org/pdf/2506.20923

## KaLM-Embedding的应用场景

 * **文本分类**：能对文本进行高效的分类处理，帮助用户快速识别文本的主题和类别。
 * **语义匹配**：可以精准地判断不同文本之间的语义相似度，在搜索引擎、推荐系统等领域
   有广泛应用。
 * **信息聚类**：将相似的文本信息自动归类，便于用户管理和分析大量文本数据。
 * **搜索推荐**：通过语义理解提升搜索结果的相关性和推荐的精准度，为用户提供更个性
   化的体验。
 * **多语言理解**：支持多语言语义对齐，在跨语言检索和翻译等任务中表现出色，能实现
   更精准的跨语种语义理解。

#### 📝 站长洞察 (Editor’s Insight)

KaLM-Embedding的发布，标志着文本嵌入技术正从“够用”走向“精用”。其核心创新——移除因果
注意力掩码实现双向理解，以及引入对比蒸馏从更强模型学习，代表了当前嵌入模型训练方法
论的前沿。12B版本的推出，更是将参数规模与推理精度推向新高，瞄准的是企业级复杂语义
场景。这背后是行业趋势：AI应用从通用模型向专用、高效、多模态基础设施深化。腾讯此
举不仅是技术展示，更是对其AI云生态的重要赋能，未来嵌入模型的性能竞赛，将更聚焦于
数据质量、训练技巧与工程化落地能力的综合比拼。