知识蒸馏

对于监督学习而言，同样复杂度的模型下，输入的监督信息越丰富，训练效果一般也就越好。因此，为了将复杂度更低的模型达到复杂度更高的模型的训练效果，可以使用更丰富的监督信息，这就是“知识蒸馏”的初始目的。

所谓“知识蒸馏”，其实是迁移学习的一种，其最终目的是将一个庞大复杂的模型所学习到的知识（更丰富的监督信息），通过一定的技术手段迁移到精简的小模型上，使得小模型能具有与大模型相近的性能。

背景介绍

目前主流卷积神经网络，模型参数巨大。并且计算卷积层和全连接层需要大量的浮点矩阵乘法，导致计算开销也非常大。这样卷积神经网络模型在终端部署和低延迟需求场景下难以应用，必须经过模型压缩和裁剪。一般来说，卷积神经网络模型参数主要来自全连接层，计算开销主要来自卷积层。