勾配消失問題(コウバイショウシツモンダイ)とは？意味や使い方

デジタル大辞泉「勾配消失問題」の意味・読み・例文・類語

機械学習の多層化したニューラルネットワークにおいて、ある段階を越えると学習が進まなくなること。学習は予測値と実際の値の誤差を最小化する過程で進むが、活性化関数の勾配がゼロに近づくことによって、ネットワークの重み付けの修正ができなくなり、結果的に層数が増えるほど学習が困難となる。活性化関数としてシグモイド関数ではなく、ReLU関数を用いると勾配消失が起こりにくくなることが知られる。

出典　小学館デジタル大辞泉について　情報 | 凡例

今日のキーワード

自動車税は自動車（軽自動車税の対象となる軽自動車等および固定資産税の対象となる大型特殊自動車を除く）の所有者に対し都道府県が課する税であり、軽自動車税は軽自動車等（原動機付自転車、軽自動車、小型特殊自...