---
title: "MEXMA – Meta推出的预训练跨语言句子编码器"
url: "https://paooo.com/aigc-news/26218/"
author: "Prompt 语宙研究院"
published_at: "2026-07-19T01:18:29+08:00"
updated_at: "2026-07-19T01:18:29+08:00"
categories: "AIGC 资讯"
tags: "HuggingFace, Llama, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# MEXMA – Meta推出的预训练跨语言句子编码器

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/26218/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-19

## AI 30 秒核心看点 (TL;DR)

- Meta推出的MEXMA把句子级与词语级目标结合，提升跨语言句子表示质量与对齐能力。
- 模型支持80种语言，并在句子分类、文本挖掘、语义相似度等下游任务中优于LaBSE和SONAR。
- 其核心机制包括交叉语言遮蔽、对称架构和非对比性损失，适合跨语言检索与问答。

## MEXMA是什么

MEXMA是由Meta AI推出的一种新型的预训练跨语言句子编码器。基于结合句子级和词语级的目标提升句子表示的质量。在训练过程中，MEXMA用一种语言的句子表示预测另一种语言中被遮蔽的词语，支持直接更新编码器中的句子表示和所有词语。MEXMA在多个任务上展现优越的性能，超越现有的预训练跨语言句子编码器，如LaBSE和SONAR。MEXMA支持80种语言，在句子分类等下游任务中表现出色。

## MEXMA的主要功能

- **跨语言句子编码**：MEXMA将不同语言的句子编码成固定大小的向量，向量在一个共享的多语言空间中进行比较和操作。

- **句子和词语级目标结合**：基于同时考虑句子的整体含义和句子中各个词语的贡献，MEXMA提高句子表示的质量和对齐。

- **多任务性能提升**：MEXMA在多种下游任务中表现出色，包括句子分类、文本挖掘和语义文本相似度任务。

- **80种语言支持**：MEXMA支持多达80种语言，适用广泛的多语言应用场景。

## MEXMA的技术原理

- **结合句子级和词语级目标**：MEXMA用句子级目标训练模型，引入词语级目标。在训练过程中，模型学习句子的整体表示，和学习句子中每个词语的表示。

- **交叉语言遮蔽任务**：MEXMA用一种语言的句子表示预测另一种语言中被遮蔽（masking）的词语。交叉语言的遮蔽任务迫让模型学习能捕捉句子核心信息的句子表示，确保信息在不同语言之间是可对齐的。

- **直接更新编码器**：在MEXMA中，句子表示能更新编码器，每个词语的表示直接更新编码器。双向更新机制让模型更有效地学习到高质量的句子和词语表示。

- **对称架构**：MEXMA基于对称架构，同时对两种语言的句子进行遮蔽和预测，确保模型在两种语言之间是平衡的，能生成两个干净的句子向量，对于语言之间的对齐至关重要。

- **非对比性损失函数**：为避免模型崩溃（collapse）并提高表示的质量和对齐，MEXMA用非对比性损失函数，如均方误差（MSE）损失，加强不同语言中语义等价句子的空间接近性。

## MEXMA的项目地址

- **GitHub仓库**：[https://github.com/facebookresearch/mexma](https://github.com/facebookresearch/mexma)

- **HuggingFace模型库**：[https://huggingface.co/facebook/MEXMA](https://huggingface.co/facebook/MEXMA)

- **arXiv技术论文**：[https://arxiv.org/pdf/2409.12737](https://arxiv.org/pdf/2409.12737)

## MEXMA的应用场景

- **跨语言信息检索**：用MEXMA将不同语言的文档转换成相同的嵌入空间，进行跨语言的搜索和检索。

- **机器翻译**：MEXMA改善机器翻译系统，基于提供更准确的跨语言句子表示增强翻译质量。

- **多语言文本分类**：在处理多语言文本数据时，MEXMA能分类文本内容，如情感分析、主题分类等。

- **语义文本相似度评估**：MEXMA评估不同语言句子之间的相似度，适用比较和匹配相似的文本内容。

- **跨语言问答系统**：在多语言的问答系统中，MEXMA帮助理解不同语言的问题，在相应的语言中找到答案。

## 常见问题解答 (FAQ)

### MEXMA和LaBSE、SONAR相比有什么优势？
根据文章介绍，MEXMA在多个任务上表现优于现有预训练跨语言句子编码器，包括LaBSE和SONAR。它通过结合句子级与词语级目标、交叉语言遮蔽和非对比性损失，提升了句子表示质量与跨语言对齐能力。

### MEXMA支持多少种语言，适合哪些场景？
MEXMA支持80种语言，适合跨语言信息检索、机器翻译、多语言文本分类、语义文本相似度评估和跨语言问答系统等场景，尤其适合需要统一多语言表示空间的应用。

### MEXMA的技术原理是什么？
MEXMA通过句子级目标结合词语级目标训练模型，用一种语言的句子表示预测另一种语言中被遮蔽的词语，并采用对称架构与MSE等非对比性损失，增强跨语言语义对齐。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
