知識蒸留（読み）チシキジョウリュウ

デジタル大辞泉

ちしき‐じょうりゅう〔‐ジヨウリウ〕【知識蒸留】

機械学習において、膨大なデータでトレーニングした大規模言語モデルのような学習モデルを、精度を保ちつつ、より小規模のモデルにする手法。大規模な学習モデルを教師モデル、小規模な学習モデルを生徒モデルとし、推論能力や知識の精度が低くならないよう、生徒モデルが教師モデルの出力を模倣するトレーニングを繰り返すことで得られる。蒸留。

出典　小学館