大模型 Token 遗忘现象深度解析：MiniMax 揭示 5% 词汇被“后训练”遗忘

查找币:余老师 | 行业资讯 | 2026-05-10 00:19 | 1 次浏览 | 0 条回复

查找币行业资讯行业资讯 Web3安全区块链

**查找币安全团队技术洞察** 在人工智能与区块链技术融合发展的今天，大语言模型（LLM）的稳定性与可靠性已成为行业关注的焦点。近期，MiniMax 发布的一篇技术博客引发了广泛讨论——其 M2 系列大模型无法输出特定人名“马嘉祺”，这一现象背后隐藏着一个波及整个词表的系统性退化问题。作为查找币安全团队，我们将从技术细节出发，深入剖析这一事件的根源、影响及修复方案，为区块链及 AI 从业者提供专业视角。 ## 事件背景：从个例到系统性风险据行业监测数据，MiniMax 在技术博客中披露，其 M2 系列大模型在运行时出现异常：无法正确输出“马嘉祺”这一中文人名。起初，这被视为单一个例，但经过团队系统性排查，发现这仅仅是冰山一角。问题根源在于分词器（Tokenizer）在训练过程中的设计缺陷，以及后训练阶段对低频 Token 的“遗忘”效应。 ### 核心问题剖析 1. **分词器合并机制**：分词器将文字切分为模型处理单元（Token）。在训练时，“嘉祺”被合并为一个独立的 Token。预训练阶段，模型通过海量互联网文本学习了这一 Token 的含义。 2. **后训练数据稀缺**：在后续的对话数据训练中，包含“嘉祺”的样本数量不足 5 条。这种极低频率导致模型对该 Token 的维护不足。 3. **高频 Token 干扰**：后训练过程中，`tool_call` 标记、代码符号等高频率 Token 持续更新其周围的向量空间，将“嘉祺”这类低频 Token 的向量方向“挤”至错误位置。 **关键数据**：模型仍然能够“认识”马嘉祺，即可以准确回答关于他的信息，但丧失了输出该 Token 的能力。这表明问题并非知识缺失，而是输出层的参数漂移。 ## 全词表扫描：5% 的 Token 遭遇退化为了评估问题的严重性，MiniMax 团队对约 20 万个 Token 的完整词表进行了全量扫描。结果令人震惊： - **约 4.9% 的 Token 发生了显著退化**，即参数稳定度大幅下降。 - **退化最严重的语言是日语**：29.7% 的日语 Token 显著退化，远超其他语言。 - 韩语：3.3% - 俄语：3.7% - 中文：3.9% - 英文：3.5% 此外，退化排名靠前的还包括“传奇私服”、“无痛人流”等互联网 SEO 垃圾词。其机制与“嘉祺”完全相同：低频 Token 在高频 Token 的持续扰动下，向量空间发生漂移。 ### 日语退化的连锁反应日语的严重退化解开了一个长期存在的谜题：此前，模型在日语对话中偶尔会混入俄语或韩语字符，一直找不到合理解释。本次分析表明： - **参数漂移导致混淆**：日语 Token 的向量参数漂移后，与其他语言的 Token 在向量空间中发生混淆。 - **双重影响**：一方面，日语 Token 被错误激活，导致语言混杂；另一方面，相邻的低频中文 Token 被挤出正常概率范围，造成 Token 遗忘。这一现象揭示了多语言模型中，语言间向量空间的相互干扰可能比预期更为严重。 ## 修复方案：全词表合成数据训练针对上述问题，MiniMax 团队提出了一套高效的修复方案： 1. **构造覆盖全词表的合成数据**：设计简单的“复读”任务，要求模型输出每个 Token 本身。 2. **全词表训练**：让模型通过这种任务，重新学习每个 Token 的输出参数。 3. **效果验证**： - 日语回答中混入俄文字符的比例从 **47% 降至 1%**。 - 全词表输出参数稳定度（余弦相似度）从最低 **0.329 提升至全部高于 0.97**。这一修复方案不仅解决了“马嘉祺”问题，更从根本上修复了整个词表的输出能力。 ## 对区块链与AI行业的启示对于区块链领域的开发者与安全团队而言，这一事件具有多重警示意义： - **数据质量决定模型稳定性**：后训练数据的分布不均，可能导致低频 Token 的“遗忘”。在区块链智能合约、DApp 开发中，若依赖大模型进行代码生成或审计，需警惕此类 Token 退化对输出准确性的影响。 - **多语言支持的风险**：日语等语言的退化比例异常高，提示在多语言场景下，模型对低频语言的维护成本更高。对于面向全球用户的区块链项目，需考虑语言模型的本地化适配问题。 - **修复方案的可移植性**：全词表合成数据训练的思路，可被借鉴用于其他大模型的稳定性优化。在去中心化 AI 或链上模型部署中，此类技术可提升模型的鲁棒性。 ## 结论 MiniMax 此次的技术披露，不仅是一次针对特定人名输出问题的排查，更是一次对后训练过程中 Token 退化机制的系统性揭示。5% 的 Token 退化率，特别是日语 29.7% 的退化比例，提醒我们：大模型的稳定输出依赖于对每个 Token 的精细维护。通过全词表扫描与合成数据训练，团队已成功将输出参数稳定度提升至 0.97 以上，为行业提供了可复用的解决方案。在区块链与 AI 深度融合的当下，此类技术洞察对安全团队尤为重要。查找币将持续关注前沿技术动态，为社区提供专业、准确的安全分析。 --- 本文由查找币安全团队整理发布

大模型 Token 遗忘现象深度解析：MiniMax 揭示 5% 词汇被“后训练”遗忘

查找币安全研究院

主题延伸阅读