Hugging Face Blog·· 2 天前AI 评分66
Dharma AI 介绍 VocabX：如何通过词表专用化降低小模型 77% 推理成本
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma AI 介绍了其针对特定领域小语言模型的词表优化方法 VocabX，通过依据 token 推理成本而非出现频率重构词表，在不改动基座模型的前提下将生产环境推理成本降低了 77%。
来源：Hugging Face Blog · huggingface.co