日本大百科全書(ニッポニカ)「DQN」の解説
DQN
でぃーきゅーえぬ
ディープラーニング（深層学習）によって強化学習を行う手法の一つ。deep Q-networkの略である。DeepMind(ディープマインド)社によって提案された。学習の結果、ブロック崩しなどのビデオゲームを、人間のプレーヤーよりうまくプレーすることができたことで、一躍注目を浴びた。強化学習の考え方は古くからあったが、少数のパラメーターを試行錯誤によって調整するものであった。しかし、この場合パラメーターが少ないために、倒立振子のような単純なシステムでしかうまく動かなかった。ここにディープラーニングを初めて取り入れたのがDQNである。これによって、画面全体の状態を画像として認識し、パドルを操作するというような、複雑な方策も学習できるようになった。この結果、たとえばブロック崩しゲームでは、ブロックの裏側にボールを投げ込むことで高い得点を得る技があるが、DQNは試行錯誤によってそのような戦略を発見した。深層強化学習はこのようにきわめて強力だが、ランダムな試行錯誤の結果として得られる報酬しか考慮しない。したがって、一見悪い方策のように思えるが、長い目でみると報酬が大きくなるような、長期間のプランニングが必要な問題は苦手である。
［丸山 宏 2019年4月16日］
[参照項目] |