ディープラーニング（読み）でぃーぷらーにんぐ（英語表記）deep learning

デジタル大辞泉

ディープ‐ラーニング（deep learning）

コンピューターによる機械学習で、人間の脳神経回路を模したニューラルネットワークを多層的にすることで、コンピューター自らがデータに含まれる潜在的な特徴をとらえ、より正確で効率的な判断を実現させる技術や手法。音声認識と自然言語処理を組み合わせた音声アシスタントや画像認識など、パターン認識の分野で実用化されている。深層学習。
[補説]コンピューターがネコの画像をネコであると認識する場合、画像からなんらかの特徴を抽出し、あらかじめ記憶させたネコの基準となる特徴と照らし合わせる必要がある。ディープラーニングの登場以前には、研究者や技術者がネコの基準となる特徴をあらかじめ数量化した特徴量を設定したが、ディープラーニングにおいては、ネコの属性をもつさまざまなものを大量に機械学習させることで、人が直接関与することなく、ネコの特徴をコンピューターが自動的に学んでいく。

出典　小学館

日本大百科全書(ニッポニカ)

ディープラーニング
でぃーぷらーにんぐ
deep learning

ディープラーニングは、深い、すなわち、層の数が多いニューラルネットワークを用いた機械学習を意味し、深層学習と訳される。より広い意味では、局所的特徴から大域的で抽象度の高い特徴に至る階層構造をもった特徴表現（内部表現や潜在表現ともよばれる）をデータから学習することを可能にする、表現学習の一種である。

［麻生英樹　2018年6月19日］

ニューラルネットワーク

ニューラルネットワークは、多数の神経細胞（ニューロン）のネットワークである人間や生物の脳神経系の構造やふるまいからヒントを得た情報処理の仕組みであり、神経細胞の数理モデルを相互に結合したネットワークによって情報処理を行う。神経細胞の数理モデルとしては、多入力1出力の素子で、それぞれの入力信号に結合の重みとよばれるパラメーターをかけ合わせて総和をとり、非線形の活性化関数によって変換した値を出力するものがもっともよく用いられている。活性化関数としては、S字形の単調増加性をもつシグモイド関数や、区分線形関数などが用いられる。

　ニューラルネットワークの最大の特徴は、脳神経系のような学習能力をもつこと、すなわち、個々の結合の重みをデータにあわせて修正することを繰り返すことで、入力データに対して望ましい値を出力するようになることである。これは、データにあわせてアルゴリズムのパラメーターを修正する機械学習の一種である。結合の重みを修正するためのアルゴリズムはニューラルネットワークの学習アルゴリズムとよばれる。代表的な学習アルゴリズムには、パーセプトロンPerceptron学習（誤り訂正学習）や、誤差逆伝播(でんぱ)学習などがある。

［麻生英樹　2018年6月19日］

研究の歴史と発展

ニューラルネットワークによる情報処理の研究は、1943年のマカロックWarren McCulloch（1898―1969）とピッツWalter Pitts（1923―1969）による論理ニューロンモデルの提案にさかのぼる。その後、1949年にヘッブが条件づけ学習を説明するヘッブの学習則を、1958年ごろにローゼンブラットFrank Rosenblatt（1928―1971）が学習する認識システムの端緒であるパーセプトロンを提案し、研究が盛んになった。パーセプトロンの学習法は、誤り訂正学習とよばれるもので、最終的な出力層の神経細胞が、自分の出力と正解の出力の差の情報を用いて学習を行う。1972年にミンスキーMarvin Minsky（1927―2016）とパパートSeymour Papert（1928―2016）が、パーセプトロンの情報処理能力の可能性と限界に関する数理的研究をまとめた書籍を出版したことなどにより、研究は一段落した。1969年（昭和44）に日本の甘利俊一(あまりしゅんいち)（1936―　）は、後の誤差逆伝播学習に相当する多層のネットワークの学習法を提案したが、当時の計算機の能力が低かったこともあり、大きな注目は得られなかった。

　1980年代には、ラメルハートDavid Rumelhart（1942―2011）、マクレランドJames McClelland（1948―　）、ヒントンGoeffrey Hinton（1947―　）、ホップフィールドJohn Hopfield（1933―　）らが、多層のニューラルネットワークのための学習法である誤差逆伝播学習、確率分布の学習を行うボルツマンマシン、連想記憶のモデル等を提案したことから、コネクショニズムという名の下でふたたび研究が盛んになった。しかし、誤差逆伝播学習では層の多いニューラルネットワークを学習させることがむずかしく、また、1995年ごろに、バプニックVladimir Vapnik（1936―　）らが提案したサポートベクトルマシンという機械学習手法が、多くの問題においてニューラルネットワークよりもよい性能を示したこともあり、研究はふたたび下火になり、工学的な応用もあまり進まなかった。

　しかし、2006年にヒントンらは、層の多いネットワークを層ごとに学習させる方法を提案し、それによってさまざまなデータに対して深い階層をもつ有効な特徴表現が得られることを示した。さらに、2011年ごろから、不特定話者連続音声認識や画像中の物体の認識などのむずかしいパターン認識の問題に対して、ディープラーニングが従来法を大きく上回る性能を示したことから、研究と応用が爆発的に進むこととなった。インターネット上の各種のサービス等を通じて学習に使えるデータが大量に集積されていたことや、ニューラルネットワークの情報処理が、GPGPU（General Purpose Graphic Processing Unit）とよばれるグラフィック処理用のプロセッサーによる並列計算によって大幅に高速化できたことも、研究を加速した。

　画像や音声を入力して、そこに写っているものや、音声に含まれる音素などを出力する認識問題に対しては、入力から出力に向かう方向の結合のみをもつ階層的なニューラルネットワークが使われる。とくに、局所的な特徴が集まってより大域的な特徴を構成してゆく性質を利用した畳み込みネットワークが代表的である。

　一方、自然言語テキストや動画などの系列データを、文脈を考慮して扱うためには、出力から入力に戻る方向の結合ももつニューラルネットワークが使われる。なかでも、1997年にホッホライターSepp Hochreiter（1967―　）らが提案したLSTM（long short-term memory）は、文脈情報の長さを適切に調節できる点などが再評価され、機械翻訳や、画像・動画からの説明文の生成などの問題に使われて成功している。

　このほかにも、パターン認識だけでなく、学習用のデータの確率分布を学習する生成モデルやデータを生成するネットワークと、入力データが本物かネットワークが生成したものかを弁別するネットワークを組み合わせて相互に学習させる敵対的生成学習や、ニューラルネットワークが得意なパターン情報の処理と、計算機が得意な計算や記号処理とを組み合わせたシステムなど、多様な構造のニューラルネットワークが考案され、研究とさまざまな分野への応用の試みが進められている。

　そうしたなかで、ReLU（Rectified Linear Unit）、ドロップアウトDropout法、バッチ正規化、残差ネットワークなどの、大規模で複雑なネットワークの学習の性能を高める方法が生み出されている。また、深層ニューラルネットワークを簡単にプログラムして学習と推論を高速に行わせるためのツールや開発環境も数多く構築されて、研究の発展を加速している。

［麻生英樹　2018年6月19日］

応用の展開

ディープラーニングの応用分野は、音声認識や画像認識のようなパターン情報（時空間的に分散した情報）の処理から始まった。たとえば、写真のなかの物体や人を認識する課題では、人間に近い性能を達成している。100万枚を超える大規模なデータを用いて、100以上も層のあるニューラルネットワークを学習させることで能力が向上し、商用のシステムにも使われている。最近では、静止画だけでなく、動画の認識の性能も向上している。

　自然言語処理への応用も進んでいる。当初は、レビューなどの文章が、肯定的なものか否定的なものかを識別する評判分析の問題などに適用されたが、LSTM が普及すると、機械翻訳や、画像や動画の説明文を生成する問題などにも応用されるようになった。とくに、機械翻訳への応用では、従来の手法に対して大幅な性能向上を達成した。

　強化学習とよばれる、試行錯誤から学習する機械学習手法とディープラーニングの組み合わせによって、古典的なコンピュータ・ゲームや将棋、囲碁などのゲームを学習するシステムがつくられた。2016年には、グーグルに買収されたディープラーニングの研究開発ベンチャー、ディープマインドDeepMind社のハサビスDemis Hassabis（1976―　）らが開発したコンピュータ囲碁のプログラムが、世界トップレベルの囲碁棋士に勝利して大きな話題となった。今後は、自ら環境を認識し、判断して行動する知能ロボットや、ビルや街などの大規模なシステムを最適なかたちに制御することなどへの応用が進むことも期待されている。

［麻生英樹　2018年6月19日］

『人工知能学会監修、神嶌敏弘編『深層学習』（2015・近代科学社）』▽『岡谷貴之著『深層学習』（2015・講談社）』▽『斎藤康毅著『ゼロから作るDeep Learning』（2016・オライリージャパン）』▽『Ian Goodfellow, Yoshua Bengio, and Aaron Courville"Deep Learning" (2016・The MIT Press)』

[参照項目] | アルゴリズム

出典　小学館　日本大百科全書(ニッポニカ)

知恵蔵

ディープラーニング

近年注目されている人工知能研究の一つで、コンピューターが物事を理解するための新しい学習方法を指す。直訳では「深層学習」。人間の脳をモデルにしたニューラルネットワークと呼ばれる技術を基にしており、ニューラルネットワーク技術を何層にも重ねた構造を持つことによって、これまで実現できなかった抽象的なデータを認識できる点が、大きな特徴。近年のインターネットの高速化や、画像データの高精度化によって、コンピューターは、より人間に近い考え方ができるようになった。人間が他人や動物を識別する場合、視覚や聴覚などを駆使して、対象物の体格などの全体を見た後に、目、耳、口などの顔のパーツなどを認識したり、あるいはその逆で、パーツから全体を認識したりするような階層的な過程を経る。従来コンピューターにはこのような過程を経た認識をさせることは困難とされ、対象物の特徴を計算するプログラムによって識別を行っていた。しかしディープラーニングでは、人間の認識過程と同じ過程を踏み、写真に写っている人の顔や動物等をコンピューターに認識させることが可能になった。
2016年3月、ディープラーニングを用いた「アルファ碁」と呼ばれるコンピュータープログラムが、囲碁の対戦で、世界最強の1人といわれるプロの棋士に勝利した。囲碁は、終局までの手順が10の360乗通りにも及ぶと言われていることから、チェスや将棋よりも次の手を読む作業が複雑であり、コンピューターが人間に勝てない唯一のゲームと言われていた。
「アルファ碁」は、人工知能の研究を続けるグーグルの系列会社「グーグル・ディープマインド」社が開発したもので、ディープラーニングによって、過去のプロ棋士の対局の記録を基に「アルファ碁」自身を相手にした対局を何千万回も繰り返したことで知識を深め、人間の直観に相当する力を磨き、勝利を得た。
なお、グーグル社は、15年11月にディープラーニングのライブラリー「TensorFlow」をオープンソースとして公開した。「TensorFlow」は、すでにグーグル社が提供する写真検索や、音声認識に関するサービスに使用されているもので、商用でも利用できる。また、16年5月、米アマゾン社が、グーグル社の「TensorFlow」よりも約2倍高速な「Amazon DSSTNE」を公開した。
ディープラーニングを用いると、X線の画像から病巣を認識したり、電車内や屋外の広告を、人の顔の向きなどに合わせて変化させたりするなどといった、これまでにないサービスが実現できる。そのため、今後は、ディープラーニングのライブラリーを用いた様々なサービスが展開されることが予想される。

(横田一輝　ICTディレクター／2016年)

出典　(株)朝日新聞出版発行「知恵蔵」

ブリタニカ国際大百科事典 小項目事典

ディープラーニング
deep learning; DL

多数のレイヤをもつニューラルネットワークを用いた機械学習手法の総称。深層学習とも呼ばれる。高性能コンピュータを用いて大量のデータに適用することで，人間をしのぐパターン認識力（→パターン認識）をもつことが示された。画像認識（→画像処理，画像理解システム），音声認識，言語処理（→言語処理系，自然言語処理）などの分野に適用され始めたが，手法自体は一般的なものであり，特定の対象に限定されたものではない。従来のパターン認識手法は，特徴抽出と分類の 2段階に分かれ，両者をうまく連携させるために必要となる，対象の提示の仕方に対して不変で（対象の向き，位置，照明などの違いに影響されない），識別力の高い（似て非なる対象を区別できる）特徴の設計は人手で行なわれていた。ディープラーニングを用いることで，特徴の設計も自動化され，パターン認識の全体としての大幅な性能向上とコストダウンに成功した。確率的に動作するボルツマンマシンの隠れ層を深層化したもの（深層ボルツマンマシン），局所的な特徴抽出と集約による大域化を行なう層を交互に重ねたもの（たたみ込みニューラルネットワーク），時間的な依存関係をもつ系列の学習ができるようにするために記憶構造をもたせたもの（回帰結合ニューラルネットワーク）など，さまざまなタイプのニューラルネットワークを用いた方式が実現された。（→人工知能）

出典　ブリタニカ国際大百科事典 小項目事典