在人工智能飞速发展的今天，我们正面临着一个奇妙的矛盾：大模型越来越强，但也越来越“重”。动辄千亿参数的模型能写文章、做推理、解难题，可一旦想把它放进手机、手表、车载系统或小型设备里，就会立刻变得迟缓、耗电且成本高昂。难道强大与轻巧，真的不能兼得吗？答案是否定的。实现这一奇迹的核心技术，就是模型蒸馏（Model Distillation）。

什么是模型蒸馏？给AI做一次“知识提炼”

模型蒸馏，又称知识蒸馏，是一种模型压缩与知识迁移技术。如果把大模型比作一位经验丰富、学识渊博但行动缓慢的老教授，那么经过蒸馏的小模型，就是一个身轻如燕、反应极快、几乎继承了全部功力的青年高手。[page]

它的核心逻辑非常朴素：让一个已经训练好的、精度极高的大模型（教师模型），把自己学到的知识、逻辑、推理模式，一点点提炼并传递给一个更小、更轻、更快的小模型（学生模型）。老教师把一生的经验浓缩提炼给学生，学生不用再从头苦读海量书籍，却能快速掌握核心能力。最终，学生体型小、反应快、成本低，却能保留大模型90%以上的能力。

核心逻辑：老师怎么教，学生怎么学

要真正理解蒸馏，关键在于明白大模型是如何“教”的。传统模型训练就像是“刷题背答案”，给模型海量数据，让它记住标准答案（硬标签）。这种方式很死板，模型只记住了结果，不懂底层逻辑。