学習 時系列データ学習の要:BPTT
音声や株価、文章といった、時間的な順番が大切となる情報を時系列データと言います。時系列データは、ある時点での値が過去の値に影響を受けているという特徴があります。例えば、今日の株価は昨日の株価や、それ以前の値動きに影響を受けていると考えられます。また、私たちが話す言葉も、一つ前の単語、そして文章全体の流れに沿って選ばれています。
このようなデータに対して、普通の学習方法ではうまくいかないことがよくあります。普通の学習方法は、データ一つ一つが独立していることを前提としているため、データ間の時間的な繋がりを捉えることが苦手です。例えば、画像認識であれば、画像の中に何が写っているかは、他の画像に影響を受けません。しかし時系列データでは、データの順番が非常に重要で、それを無視すると正しい結果を得ることができません。
そこで、時系列データを扱うための特別な学習方法が必要になります。その一つがリカレントニューラルネットワーク(RNN)と呼ばれる学習方法です。RNNは、過去の情報を記憶しておく特別な仕組みを持っています。この仕組みのおかげで、過去の情報が現在の値にどのように影響を与えているかを学習することができます。株価の例で言えば、過去の株価の変動パターンを記憶することで、将来の株価を予測することが可能になります。
しかし、RNNにも学習の難しさはあります。過去の情報が現在の値に与える影響を、長い期間に渡って学習させることが難しいのです。これを勾配消失問題と言います。この問題を解決するために、BPTTと呼ばれる特別な計算方法が用いられます。BPTTは、時間的な繋がりを考慮しながら、効率的に学習を進めることができる方法です。このように、時系列データの学習には特有の難しさがあり、それを克服するための様々な工夫が凝らされています。
