報酬関数

学習する機械であるエージェントは、周囲の状況を観察し、行動を選び、その結果として報酬を受け取るという流れを繰り返すことで学習します。この学習方法を強化学習と呼びます。この強化学習において、報酬の設定は学習の成否を分ける重要な要素となります。なぜなら、エージェントはより多くの報酬を得るために行動を調整していくからです。この報酬の与え方を工夫することを報酬成形といいます。 例えるなら、犬に芸を仕込む場面を考えてみましょう。犬が望ましい行動をとったときに、ご褒美のおやつを与えます。おやつは犬にとって報酬であり、この報酬を得るために犬は芸を覚えます。しかし、複雑な芸をいきなり仕込もうとしても、犬はなかなか成功できません。そこで、目標とする行動に少しでも近づいたら報酬を与えるようにします。例えば、お手を教えたい場合、最初は手を上げただけでも報酬を与え、徐々に目標とする行動に近づけていきます。これが報酬成形の考え方です。 強化学習においても同様に、エージェントが最終的な目標に到達するまでに、中間的な目標を設定し、それらを達成するごとに報酬を与えることで、学習効率を高めることができます。例えば、迷路を解くタスクを学習させる場合、ゴールに到達したときだけでなく、ゴールに近づく正しい道を進んだときにも報酬を与えると、エージェントはより早く迷路を解けるようになります。 しかし、報酬成形は注意深く行う必要があります。望ましくない行動に報酬を与えてしまうと、エージェントは間違った行動を学習してしまいます。例えば、迷路の近道を見つける代わりに、壁に沿って歩くだけで報酬を得られるように設定してしまうと、エージェントはゴールに到達する最短ルートを学習できなくなってしまう可能性があります。このように、報酬成形の良し悪しは、強化学習の成果に大きく影響するため、適切な報酬設計が重要となります。