跳到正文
Hugging Face Blog·· 2 小时前精选AI 评分60

如何为 SLM 定制词表,将实际应用推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文:在基于 Qwen3-4B 的葡萄牙语作文批改器上,按每个 token 的实际成本而非出现频次重建词表,保持基座模型、数据和训练配方不变,实测推理成本下降 77.0%,平均响应从 350 个 token 降到 101 个,bench 分数从 0.703 升到 0.810。

推荐理由

作者以生产环境作文批改器为例,展示按成本而非频次重建词表如何在不换基座模型的前提下降低推理开销。

来源:Hugging Face Blog · huggingface.co