Sentence Transformers 详解多向量嵌入模型的 Token 池化感知训练
Hugging Face 介绍了多向量嵌入模型的 Token 池化感知训练方法,通过在训练损失中同时优化原始表示与压缩表示,降低检索存储开销。该方案结合 Ward 层次聚类对文档 Token 进行合并,并在 Sentence Transformers 中引入 MultiVectorTokenPoolingLoss 损失包装器。
推荐理由:原文给出了在训练目标中引入池化损失的代码实现,读者可以借此在压缩多向量索引体积时保持检索召回精度。