最近在尝试一些新的开源大模型时遇到了一个挺有意思的问题明明模型参数规模差不多推理速度却差异巨大。尤其是在处理长文本或需要频繁调用模型的场景下有的模型响应流畅有的却像老牛拉车。一开始以为是模型架构或优化器的差异但深入排查后发现问题往往出在一个容易被忽略的环节——Tokenizer。Tokenizer这个在模型训练和推理中负责文本与Token相互转换的组件很多时候被当作一个静态的、一次性的配置。但当你真正要把一个预训练好的大模型应用到新领域、新语言或特殊任务时原有的Tokenizer词汇表可能就成了瓶颈。比如你想让一个主要以中英文训练的模型更好地理解代码注释里的日文术语或者处理医疗报告中的专业缩写直接微调模型参数或许能学到一些表征但如果Tokenizer本身就不认识这些新词模型就像戴着一副度数不匹配的眼镜始终看不清楚。传统的解决方案是训练一个全新的Tokenizer然后重新预训练模型——这成本太高或者直接在现有词汇表末尾添加新词——但这会破坏原有的嵌入层导致模型性能严重下降。而“In-Place Tokenizer Expansion”原地分词器扩展技术正是在这个背景下被提出的一种平衡之道它允许我们在不完全重训模型的前提下安全地扩展Tokenizer的词汇表。这篇文章我们就来深入聊聊这个技术。我会从三个层面展开首先解释为什么Tokenizer的扩展不是一个简单的“添加新词”问题然后拆解In-Place Expansion的核心思路和关键步骤最后结合具体实践讨论如何评估扩展效果以及在实际应用中需要注意的陷阱。1. 为什么直接添加新Token会“搞砸”预训练模型很多人第一次接触Tokenizer扩展时会有一个天真的想法既然词汇表就是一个列表那我直接往列表末尾加几个新词不就行了吗理论上这确实增加了Tokenizer的编码能力。但问题出在模型的嵌入层Embedding Layer。预训练模型的嵌入层是一个大小为(vocab_size, hidden_dim)的矩阵。每一行对应词汇表中的一个Token。模型在训练过程中已经学会了每个Token在隐藏空间中的向量表示。当你直接在原词汇表末尾添加新Token时词汇表大小变成了vocab_size new_tokens但嵌入层矩阵并没有相应的新行。此时如果你强行让模型使用新词汇表当遇到新Token时模型试图去查找第vocab_size1行及之后的向量——但这些位置根本不存在通常会导致运行时错误。即使你通过技术手段例如用零初始化或随机初始化扩展了嵌入层矩阵为新Token分配了向量这些新向量也是“未经训练”的。它们会破坏模型已经学到的语义空间。在推理时一旦遇到新Token模型的行为就会变得不可预测输出质量显著下降。这就像在一幅已经完成的油画上硬是用没调过的颜料涂鸦整体和谐性就被破坏了。更底层的挑战在于大语言模型通常采用基于BPEByte Pair Encoding或WordPiece的分词算法。这些算法构建的词汇表是一个经过大量数据统计优化后的结果Token之间的合并关系是确定的。随意添加新Token可能会破坏这种内在的合并顺序和子词之间的平衡。例如如果新添加的词是一个原有子词序列的组合可能会造成编码不一致同一个字符串有时被编码成多个旧Token有时被编码成一个新Token。所以Tokenizer扩展的核心矛盾是我们既要增加词汇表的覆盖能力又要最大限度地保留预训练模型已经学到的知识。In-Place Expansion的目标就是解决这个矛盾。2. In-Place Tokenizer Expansion 的核心思路与操作流程“In-Place”原地这个词很关键它意味着我们不是推倒重来而是在现有模型和Tokenizer的基础上进行“外科手术式”的改造。其核心思想是为新增的Token在嵌入层中找到一种合理的初始化方式让它们的起点尽可能接近模型已有的知识体系然后通过轻量级的后续训练例如继续预训练或指令微调来让模型“认识”这些新朋友。下面是一个典型的操作流程可以分为准备、扩展、初始化和适应四个阶段。2.1 阶段一分析与准备新词数据在动手之前首先要明确目标你需要添加哪些新Token这些Token来自什么领域例如专业术语、新语言字符、网络用语等。准备一个高质量的、包含这些新词的文本语料库至关重要。这个语料库将用于两处用于训练扩展后的Tokenizer学习新词的合并规则如果新词本身不是原子单位。用于后续的模型适应训练让模型在新词的上下文环境中学习其表征。一个常见的错误是只准备一个词列表。没有上下文语料模型很难学会新词的真实用法和语义。2.2 阶段二执行Tokenizer的词汇表扩展这一步是扩展Tokenizer本身。以Hugging Face的tokenizers库为例大致流程如下加载原Tokenizer从预训练模型中加载原有的Tokenizer。训练新Tokenizer使用准备好的新词语料以原有的分词算法如BPE为基础训练一个新的Tokenizer。在训练时可以设置vocab_size为原大小加上预期新增的Token数量。关键是要确保训练时“冻结”原有的合并规则只在新词相关的部分学习新的合并规则。这通常可以通过从原Tokenizer初始化训练器Trainer来实现。合并词汇表将新训练得到的Tokenizer的词汇表与原词汇表进行合并。这里需要注意的是处理重复项和合并顺序的一致性。最终得到一个扩展后的词汇表。此时你得到了一个能编码新词的Tokenizer但模型还不能用。2.3 阶段三扩展并初始化模型的嵌入层这是最核心的一步。我们需要将模型的嵌入层以及输出层如果它是与嵌入层共享权重的话进行扩展并为新Token的向量进行初始化。矩阵扩展将原始的嵌入矩阵从(old_vocab_size, hidden_dim)扩展到(new_vocab_size, hidden_dim)。新增的行目前是空的。智能初始化简单地用零或随机值初始化新Token的向量效果很差。In-Place Expansion 采用更聪明的方法。一个广泛使用的策略是用新Token对应的子词序列的向量平均来初始化。操作对于一个新Token先用旧的Tokenizer将其分词成一系列子词例如新词“tokenizer”可能被分为[token, ##izer]。计算然后在旧的嵌入矩阵中查找这些子词对应的向量并计算这些向量的平均值或加权平均。赋值将这个平均值作为新Token的初始向量。这样做有什么好处它相当于把新Token“放置”在与其组成子词语义相近的向量空间区域。模型对这个区域本来就很熟悉所以新Token的加入对原有空间的扰动最小。模型在后续学习时只需要在这个良好的起点上进行微调而不是从零开始学习一个完全陌生的概念。2.4 阶段四模型适应训练经过智能初始化模型已经对新Token有了一个“模糊的认识”但还不够精确。我们需要一个适应阶段让模型在新词的上下文中调整这些新Token的向量同时也微调一下模型的其他参数以适应词汇表的变化。数据使用在准备阶段收集的包含新词的语料库。训练目标通常采用语言模型训练目标即下一个Token预测。训练策略全部微调如果计算资源充足可以对整个模型进行少量步数的继续预训练。部分微调更推荐考虑到效率可以只训练扩展后的嵌入层新Token对应的向量而冻结模型的其他部分。或者可以采用LoRA等参数高效微调方法只训练少量新增参数。这通常能取得很好的效果且大大节省资源。这个过程可以类比于给一个团队引入新成员。智能初始化相当于找了一个背景和能力与团队现有成员相似的人适应训练则相当于让这个新成员在实际项目中与大家磨合最终融入团队。3. 效果评估与实战中的关键陷阱完成了扩展和训练如何判断是否成功以及在实践中会遇到哪些坑3.1 如何评估扩展效果评估需要从多个维度进行编码效率比较使用新旧Tokenizer对同一段文本特别是包含新词的文本进行编码的结果。扩展后的Tokenizer应该能更有效地编码新词即使用更少的Token这有助于提高推理速度尤其是减少长文本的Token数量。模型性能保持在模型原有的、不包含新词的基准测试集如MMLU、C-Eval等上评估扩展后的模型。性能下降应该非常小例如1-2%以内。如果下降明显说明扩展过程对原有知识空间造成了较大破坏。新词理解能力设计一些针对新词的测试用例例如问答、翻译或填空检查模型是否能正确理解和使用新词。推理速度在实际部署环境中测试处理包含新词文本的吞吐量和延迟。理论上更高效的编码会带来速度提升。3.2 实践中的陷阱与应对策略陷阱一新词数据质量差。如果新词语料噪声大、或缺乏上下文模型学到的可能是错误的用法。策略精心清洗和筛选数据确保新词出现在自然、合理的上下文中。陷阱二新增Token过多或选择不当。盲目添加大量不常用的Token可能会稀释词汇表反而降低编码效率并增加模型适应训练的难度。策略基于频率统计只添加那些真正高频、且原子性强的词。对于低频词让模型通过子词组合来理解往往是更好的选择。陷阱三适应训练不足或过拟合。训练步数太少新Token没学好训练步数太多又可能导致模型遗忘原有知识或在窄小的新词语料上过拟合。策略在验证集包含新旧知识上密切监控损失曲线尽早停止训练。陷阱四忽略上下游工具链。你的模型可能被用于特定的推理框架如vLLM、TGI。这些框架可能对Tokenizer有特定的优化或要求。扩展Tokenizer后需要确保与这些框架兼容。策略在扩展后进行完整的端到端推理测试。4. 总结何时该用何时不该用In-Place Tokenizer Expansion 是一项非常实用的技术但它并非万能。理解它的适用边界至关重要。你应该考虑使用它当你需要让一个预训练模型适应一个拥有大量专属词汇的新领域如法律、医疗、金融。你需要让模型支持一种新的语言而这种语言的字符或常用词在原有词汇表中覆盖不足。你观察到当前Tokenizer对某些高频词汇编码效率低下严重影响推理性能。你缺乏从头预训练一个模型的计算资源但拥有一个强大的基座模型和一些高质量的领域数据。你可能需要重新考虑当你需要添加的新词非常少且都可以通过已有的子词较好地表示。此时直接通过微调让模型学习子词组合可能更简单。新领域与模型原有训练数据的分布差异极大。此时仅扩展Tokenizer可能不够需要更深入的领域自适应。你对模型性能有极致要求且拥有充足的资源。在这种情况下收集更多数据从头训练一个包含目标词汇的Tokenizer和模型可能是最终更好的选择。总而言之In-Place Tokenizer Expansion 是大模型应用工程中的一个重要技巧。它体现了在资源受限的现实条件下如何通过精巧的设计来平衡“改造”与“保持”的艺术。下次当你面对一个“词汇量不足”的预训练模型时不妨试试这个方法或许它能帮你用较小的代价撬动模型能力的又一次升级。
最近在尝试一些新的开源大模型时遇到了一个挺有意思的问题明明模型参数规模差不多推理速度却差异巨大。尤其是在处理长文本或需要频繁调用模型的场景下有的模型响应流畅有的却像老牛拉车。一开始以为是模型架构或优化器的差异但深入排查后发现问题往往出在一个容易被忽略的环节——Tokenizer。Tokenizer这个在模型训练和推理中负责文本与Token相互转换的组件很多时候被当作一个静态的、一次性的配置。但当你真正要把一个预训练好的大模型应用到新领域、新语言或特殊任务时原有的Tokenizer词汇表可能就成了瓶颈。比如你想让一个主要以中英文训练的模型更好地理解代码注释里的日文术语或者处理医疗报告中的专业缩写直接微调模型参数或许能学到一些表征但如果Tokenizer本身就不认识这些新词模型就像戴着一副度数不匹配的眼镜始终看不清楚。传统的解决方案是训练一个全新的Tokenizer然后重新预训练模型——这成本太高或者直接在现有词汇表末尾添加新词——但这会破坏原有的嵌入层导致模型性能严重下降。而“In-Place Tokenizer Expansion”原地分词器扩展技术正是在这个背景下被提出的一种平衡之道它允许我们在不完全重训模型的前提下安全地扩展Tokenizer的词汇表。这篇文章我们就来深入聊聊这个技术。我会从三个层面展开首先解释为什么Tokenizer的扩展不是一个简单的“添加新词”问题然后拆解In-Place Expansion的核心思路和关键步骤最后结合具体实践讨论如何评估扩展效果以及在实际应用中需要注意的陷阱。1. 为什么直接添加新Token会“搞砸”预训练模型很多人第一次接触Tokenizer扩展时会有一个天真的想法既然词汇表就是一个列表那我直接往列表末尾加几个新词不就行了吗理论上这确实增加了Tokenizer的编码能力。但问题出在模型的嵌入层Embedding Layer。预训练模型的嵌入层是一个大小为(vocab_size, hidden_dim)的矩阵。每一行对应词汇表中的一个Token。模型在训练过程中已经学会了每个Token在隐藏空间中的向量表示。当你直接在原词汇表末尾添加新Token时词汇表大小变成了vocab_size new_tokens但嵌入层矩阵并没有相应的新行。此时如果你强行让模型使用新词汇表当遇到新Token时模型试图去查找第vocab_size1行及之后的向量——但这些位置根本不存在通常会导致运行时错误。即使你通过技术手段例如用零初始化或随机初始化扩展了嵌入层矩阵为新Token分配了向量这些新向量也是“未经训练”的。它们会破坏模型已经学到的语义空间。在推理时一旦遇到新Token模型的行为就会变得不可预测输出质量显著下降。这就像在一幅已经完成的油画上硬是用没调过的颜料涂鸦整体和谐性就被破坏了。更底层的挑战在于大语言模型通常采用基于BPEByte Pair Encoding或WordPiece的分词算法。这些算法构建的词汇表是一个经过大量数据统计优化后的结果Token之间的合并关系是确定的。随意添加新Token可能会破坏这种内在的合并顺序和子词之间的平衡。例如如果新添加的词是一个原有子词序列的组合可能会造成编码不一致同一个字符串有时被编码成多个旧Token有时被编码成一个新Token。所以Tokenizer扩展的核心矛盾是我们既要增加词汇表的覆盖能力又要最大限度地保留预训练模型已经学到的知识。In-Place Expansion的目标就是解决这个矛盾。2. In-Place Tokenizer Expansion 的核心思路与操作流程“In-Place”原地这个词很关键它意味着我们不是推倒重来而是在现有模型和Tokenizer的基础上进行“外科手术式”的改造。其核心思想是为新增的Token在嵌入层中找到一种合理的初始化方式让它们的起点尽可能接近模型已有的知识体系然后通过轻量级的后续训练例如继续预训练或指令微调来让模型“认识”这些新朋友。下面是一个典型的操作流程可以分为准备、扩展、初始化和适应四个阶段。2.1 阶段一分析与准备新词数据在动手之前首先要明确目标你需要添加哪些新Token这些Token来自什么领域例如专业术语、新语言字符、网络用语等。准备一个高质量的、包含这些新词的文本语料库至关重要。这个语料库将用于两处用于训练扩展后的Tokenizer学习新词的合并规则如果新词本身不是原子单位。用于后续的模型适应训练让模型在新词的上下文环境中学习其表征。一个常见的错误是只准备一个词列表。没有上下文语料模型很难学会新词的真实用法和语义。2.2 阶段二执行Tokenizer的词汇表扩展这一步是扩展Tokenizer本身。以Hugging Face的tokenizers库为例大致流程如下加载原Tokenizer从预训练模型中加载原有的Tokenizer。训练新Tokenizer使用准备好的新词语料以原有的分词算法如BPE为基础训练一个新的Tokenizer。在训练时可以设置vocab_size为原大小加上预期新增的Token数量。关键是要确保训练时“冻结”原有的合并规则只在新词相关的部分学习新的合并规则。这通常可以通过从原Tokenizer初始化训练器Trainer来实现。合并词汇表将新训练得到的Tokenizer的词汇表与原词汇表进行合并。这里需要注意的是处理重复项和合并顺序的一致性。最终得到一个扩展后的词汇表。此时你得到了一个能编码新词的Tokenizer但模型还不能用。2.3 阶段三扩展并初始化模型的嵌入层这是最核心的一步。我们需要将模型的嵌入层以及输出层如果它是与嵌入层共享权重的话进行扩展并为新Token的向量进行初始化。矩阵扩展将原始的嵌入矩阵从(old_vocab_size, hidden_dim)扩展到(new_vocab_size, hidden_dim)。新增的行目前是空的。智能初始化简单地用零或随机值初始化新Token的向量效果很差。In-Place Expansion 采用更聪明的方法。一个广泛使用的策略是用新Token对应的子词序列的向量平均来初始化。操作对于一个新Token先用旧的Tokenizer将其分词成一系列子词例如新词“tokenizer”可能被分为[token, ##izer]。计算然后在旧的嵌入矩阵中查找这些子词对应的向量并计算这些向量的平均值或加权平均。赋值将这个平均值作为新Token的初始向量。这样做有什么好处它相当于把新Token“放置”在与其组成子词语义相近的向量空间区域。模型对这个区域本来就很熟悉所以新Token的加入对原有空间的扰动最小。模型在后续学习时只需要在这个良好的起点上进行微调而不是从零开始学习一个完全陌生的概念。2.4 阶段四模型适应训练经过智能初始化模型已经对新Token有了一个“模糊的认识”但还不够精确。我们需要一个适应阶段让模型在新词的上下文中调整这些新Token的向量同时也微调一下模型的其他参数以适应词汇表的变化。数据使用在准备阶段收集的包含新词的语料库。训练目标通常采用语言模型训练目标即下一个Token预测。训练策略全部微调如果计算资源充足可以对整个模型进行少量步数的继续预训练。部分微调更推荐考虑到效率可以只训练扩展后的嵌入层新Token对应的向量而冻结模型的其他部分。或者可以采用LoRA等参数高效微调方法只训练少量新增参数。这通常能取得很好的效果且大大节省资源。这个过程可以类比于给一个团队引入新成员。智能初始化相当于找了一个背景和能力与团队现有成员相似的人适应训练则相当于让这个新成员在实际项目中与大家磨合最终融入团队。3. 效果评估与实战中的关键陷阱完成了扩展和训练如何判断是否成功以及在实践中会遇到哪些坑3.1 如何评估扩展效果评估需要从多个维度进行编码效率比较使用新旧Tokenizer对同一段文本特别是包含新词的文本进行编码的结果。扩展后的Tokenizer应该能更有效地编码新词即使用更少的Token这有助于提高推理速度尤其是减少长文本的Token数量。模型性能保持在模型原有的、不包含新词的基准测试集如MMLU、C-Eval等上评估扩展后的模型。性能下降应该非常小例如1-2%以内。如果下降明显说明扩展过程对原有知识空间造成了较大破坏。新词理解能力设计一些针对新词的测试用例例如问答、翻译或填空检查模型是否能正确理解和使用新词。推理速度在实际部署环境中测试处理包含新词文本的吞吐量和延迟。理论上更高效的编码会带来速度提升。3.2 实践中的陷阱与应对策略陷阱一新词数据质量差。如果新词语料噪声大、或缺乏上下文模型学到的可能是错误的用法。策略精心清洗和筛选数据确保新词出现在自然、合理的上下文中。陷阱二新增Token过多或选择不当。盲目添加大量不常用的Token可能会稀释词汇表反而降低编码效率并增加模型适应训练的难度。策略基于频率统计只添加那些真正高频、且原子性强的词。对于低频词让模型通过子词组合来理解往往是更好的选择。陷阱三适应训练不足或过拟合。训练步数太少新Token没学好训练步数太多又可能导致模型遗忘原有知识或在窄小的新词语料上过拟合。策略在验证集包含新旧知识上密切监控损失曲线尽早停止训练。陷阱四忽略上下游工具链。你的模型可能被用于特定的推理框架如vLLM、TGI。这些框架可能对Tokenizer有特定的优化或要求。扩展Tokenizer后需要确保与这些框架兼容。策略在扩展后进行完整的端到端推理测试。4. 总结何时该用何时不该用In-Place Tokenizer Expansion 是一项非常实用的技术但它并非万能。理解它的适用边界至关重要。你应该考虑使用它当你需要让一个预训练模型适应一个拥有大量专属词汇的新领域如法律、医疗、金融。你需要让模型支持一种新的语言而这种语言的字符或常用词在原有词汇表中覆盖不足。你观察到当前Tokenizer对某些高频词汇编码效率低下严重影响推理性能。你缺乏从头预训练一个模型的计算资源但拥有一个强大的基座模型和一些高质量的领域数据。你可能需要重新考虑当你需要添加的新词非常少且都可以通过已有的子词较好地表示。此时直接通过微调让模型学习子词组合可能更简单。新领域与模型原有训练数据的分布差异极大。此时仅扩展Tokenizer可能不够需要更深入的领域自适应。你对模型性能有极致要求且拥有充足的资源。在这种情况下收集更多数据从头训练一个包含目标词汇的Tokenizer和模型可能是最终更好的选择。总而言之In-Place Tokenizer Expansion 是大模型应用工程中的一个重要技巧。它体现了在资源受限的现实条件下如何通过精巧的设计来平衡“改造”与“保持”的艺术。下次当你面对一个“词汇量不足”的预训练模型时不妨试试这个方法或许它能帮你用较小的代价撬动模型能力的又一次升级。
