誤差逆伝播法(Backpropagation)
誤差逆伝播法(Backpropagation)とは、深層学習のための重要なアルゴリズムの一つです。
1986に本手法が登場したことで深層学習の実現化に目処がつき、AI研究が飛躍的に発展しました。
名称の由来と基本的な仕組み
モデルを最適化するために必要となる誤差の情報を出力層から入力層に向けて、ネットワークの逆方向に伝搬させます。そのため、この名称がつきました。
勾配計算と最適化への応用
具体的には、出力層から入力層に向けてネットワークを1層づつ遡りながら各ノードで損失関数の勾配を連鎖律を使って計算していく手法です。
計算された勾配は最適化手法で活用され、ネットワーク全体の重みとバイアスを調整してモデルの性能を向上させます。
