逆強化学習

人のような賢い機械を作る分野では、機械に人の熟練した技を教え込むことが大きな目標となっています。これまでの機械学習では、はっきりとした目標を定め、その目標に向かう行動を機械に覚えさせるのが普通でした。例えば、囲碁で勝利することが目標であれば、勝利につながる打ち手を学習させるわけです。しかし、人の行動はいつもはっきりとした目標に基づいているわけではありません。 例えば、腕のいい職人の技を考えてみましょう。彼らの技は長年の経験から来る直感や、言葉では言い表せない知識に支えられています。このような、言葉で説明するのが難しい技を機械に教え込むのは、従来の方法では困難でした。 このような難題に対して、『逆強化学習』と呼ばれる新しい方法が注目されています。逆強化学習とは、熟練者の行動をよく観察することで、その行動の裏にある目的や価値観を推測し、それを元に機械が最適な行動を学ぶ方法です。 具体的には、熟練した職人がどのように道具を扱い、材料を加工しているかを細かく観察し、そこから職人が何を大切にして作業しているのかを推測します。例えば、製品の美しさ、作業の速さ、材料の節約など、様々な価値観が考えられます。そして、推測した価値観を元に、機械は同じように行動することを目指して学習します。これは、まるで熟練者の考えを読み解き、その大切な部分を機械に移し替えるような、画期的な方法と言えるでしょう。 このように、逆強化学習は、これまで難しかった暗黙知を扱う技術を実現する上で、大きな期待が寄せられています。