ニューラルネットワークにおけるドロップアウトは、過学習を抑制するための強力な正則化手法です。これは、訓練中にニューロンの一部を一時的にランダムに無効化する技術です。
具体的には、各訓練反復において、設定された確率に基づいて、特定のニューロンとその関連する接続が「ドロップ」され、一時的にネットワークから取り除かれます。これにより、モデルは特定のニューロンに過度に依存することなく、より堅牢な特徴表現を学習するようになります。
ドロップアウトは、複数の異なるサブネットワークを同時に訓練しているような効果を生み出します。各訓練ステップで異なるニューロンの組み合わせが選択されるため、各ニューロンは、特定の他のニューロンが存在しない状況でも有効な特徴を学習しなければなりません。
この過程は、モデルのアンサンブル学習に類似しており、多数の異なる「弱い学習器」が協力してより強力なモデルを形成するのに役立ちます。
この手法の鍵は、ニューロン間の共適応を妨げることにあります。共適応とは、ニューロンが特定の入力パターンに対して過剰に特化した関係を築いてしまう現象です。
ドロップアウトはこれを積極的に破壊することで、ネットワーク全体がより汎用的な特徴を抽出し、未知のデータに対する汎化性能を向上させることを可能にします。
推論時には、全てのニューロンが使用されますが、それぞれの出力は訓練時にドロップアウトされたニューロンの割合に応じてスケールダウンされます。これにより、訓練時の出力の期待値と推論時の出力の期待値が一致し、一貫した予測が可能になります。