勾配消失問題（読み）コウバイショウシツモンダイ

デジタル大辞泉「勾配消失問題」の意味・読み・例文・類語

機械学習の多層化したニューラルネットワークにおいて、ある段階を越えると学習が進まなくなること。学習は予測値と実際の値の誤差を最小化する過程で進むが、活性化関数の勾配がゼロに近づくことによって、ネットワークの重み付けの修正ができなくなり、結果的に層数が増えるほど学習が困難となる。活性化関数としてシグモイド関数ではなく、ReLU関数を用いると勾配消失が起こりにくくなることが知られる。

出典　小学館デジタル大辞泉について　情報 | 凡例