⏶3
GATE：通用阿拉伯语文本嵌入，用于增强语义文本相似度，采用 Matryoshka 表示学习和混合损失训练
发表
由 
Omartificial Intelligence Space 提交
Omartificial Intelligence Space 提交作者: Omer Nacar, Anis Koubaa, Serry Sibaee, Yasser Al-Habashi, Adel Ammar, Wadii Boulila
Omer Nacar, Anis Koubaa, Serry Sibaee, Yasser Al-Habashi, Adel Ammar, Wadii Boulila摘要
语义文本相似度 (STS) 是自然语言处理 (NLP) 中的一项关键任务，可以在检索、聚类和理解文本之间的语义关系方面实现应用。然而，针对阿拉伯语的该领域研究仍然有限，由于缺乏高质量数据集和预训练模型。这种资源稀缺性限制了阿拉伯语文本中语义相似度的准确评估和进步。本文介绍了通用阿拉伯语文本嵌入 (GATE) 模型，这些模型在 MTEB 基准测试中的语义文本相似度任务上取得了最先进的性能。GATE 利用了俄罗斯套娃表示学习 (Matryoshka Representation Learning) 和一种混合损失训练方法，结合用于自然语言推理的阿拉伯语三元组数据集，这些对于提升模型在需要细粒度语义理解的任务中的性能至关重要。GATE 的性能优于包括 OpenAI 在内的更大模型，在 STS 基准测试中实现了 20-25% 的性能提升，有效地捕捉了阿拉伯语独特的语义细微之处。
欢迎来到官方 阿拉伯语套娃式嵌入模型 集合！
此集合展示了一系列使用以下技术构建的尖端阿拉伯语文本嵌入模型：
🪆 套娃式表示学习
⚙️ 混合损失多任务训练
🔁 阿拉伯语三元组和NLI数据集
这些模型旨在 捕获阿拉伯语中细粒度的语义相似性，同时保持 高效、可扩展 和 资源友好。
✅ 在阿拉伯语 STS 基准测试（MTEB：STS17, STS22, STS22-v2）上达到 最先进 性能
✅ 多维嵌入 (768, 512, 256, 128, 64)
✅ 模型在阿拉伯语任务上超越了像 OpenAI 和 Mistral-7B 这样大得多的LLM
✅ 使用 对比三元组学习、softmax分类 和 余弦相似度损失 进行训练
✅ 在套娃式框架内包含了对 AraBERT、MARBERT、LaBSE 和 E5 的改进版本
📰 论文标题：
GATE: 用于增强语义文本相似性的通用阿拉伯语文本嵌入，采用套娃式表示学习和混合损失训练
📄 在arXiv上阅读：
https://arxiv.org/abs/2505.24581
📊 主要成就：
在阿拉伯语STS上比OpenAI嵌入提高高达 +25%
仅有 1.35亿参数 的模型击败了十亿参数的LLM
即使在降维（64维！）情况下也能保持高性能
首次对 基于阿拉伯语三元组的对比嵌入 进行大规模基准测试
Arabic-Triplet-Matryoshka-V2GATE-AraBERT-V1Arabic-LabSE-MatryoshkaMarbert-AllNLI-Triplet-MatryoshkaE5-AllNLI-Triplet-Matryoshka🔗 探索所有模型：
👉 阿拉伯语套娃式嵌入模型集合
阿拉伯语语义搜索
重复问题检测
聚类与检索
阿拉伯语文本理解任务
面向低资源环境的可扩展NLP
硬件：NVIDIA A100 GPU
框架：🤗
sentence-transformers，自定义SentenceTransformerTrainer数据集：阿拉伯语三元组-NLI，STS对，分类数据集
训练损失：
MultipleNegativesRankingLoss，CoSentLoss，SoftmaxLoss，MatryoshkaLoss维度：使用
[768, 512, 256, 128, 64]进行训练我们欢迎反馈、基准测试和贡献！
如果您对这些模型进行了微调或在新的阿拉伯语数据集上进行了测试，请告诉我们！
📧 联系方式：
onajar@psu.edu.sa让我们让 阿拉伯语NLP 更快、更智能、更易访问——一次一个嵌入。🌍