学習 機械学習におけるバリデーションの役割
機械学習は、膨大な量の資料から規則性を見つけて、これからの予測を立てるための強力な方法です。しかし、せっかく作った予測の仕組みも、ただ資料を丸暗記しているだけで、真に理解していない可能性があります。これは、まるで試験前に教科書を暗記しただけで、その内容を理解していない生徒のようなものです。このような状態では、試験問題が少し変わると対応できません。
そこで、予測の仕組みが本当に使えるものかどうかを確かめる検証作業が必要になります。この検証作業こそがバリデーションです。バリデーションとは、予測の仕組みが学習に使った資料以外の新しい資料に対して、どの程度うまく対応できるかを評価する手順です。これは、学期の途中で小テストを実施して、生徒の理解度を確認するようなものです。
具体的には、集めた資料を学習用と検証用に分割します。学習用の資料で予測の仕組みを作り、検証用の資料でその性能を測ります。もし、検証用の資料で良い結果が得られれば、その予測の仕組みは新しい資料にも対応できる汎化性能を持っていると言えます。逆に、検証用の資料で結果が悪ければ、予測の仕組みは学習用の資料を丸暗記しただけで、真に学習できていないと考えられます。これは過学習と呼ばれ、新しい資料に対応できないため、実用性に欠けます。
バリデーションの結果が悪かった場合、予測の仕組みの作り方を調整する必要があります。例えば、使っている計算方法を変えたり、資料の量を増やしたりするなど、様々な工夫が考えられます。小テストの結果が悪ければ、学習方法を見直す必要があるように、バリデーションの結果を分析し、予測の仕組みを改善することで、より精度の高い、実用的な予測が可能になります。このように、バリデーションは、予測の仕組みの汎化性能を確かめ、過学習を防ぐための重要な手順と言えるでしょう。