RMSLE入門：誤差を正しく理解する

RMSLE入門：誤差を正しく理解する

はじめに

機械学習を用いて作った予測の良し悪しを正しく見極めるには、目的に合った評価方法を選ぶことが大切です。評価方法には様々な種類があり、それぞれの特徴を理解して使う必要があります。今回は、正の値を予測する問題でよく使われる「平均二乗対数誤差（へいきんにじょうたいすうごさ）」、略して「RMSLE」について説明します。

RMSLEは、予測値と実際の値がどれくらい離れているかを相対的に評価する指標です。たとえば、100万円の売り上げを90万円と予測した場合と、10万円の売り上げを9万円と予測した場合を考えてみましょう。どちらも金額の差は10万円ですが、RMSLEでは後者の予測をより正確だと判断します。これは、RMSLEが実際の値の大きさではなく、予測値と実際の値の比率に着目しているためです。100万円の場合、予測は実際の値の90%ですが、10万円の場合も90%です。つまり、RMSLEは売り上げ規模の大小に関わらず、予測の精度を相対的に評価するのです。

RMSLEは、対数を使って計算します。まず、予測値と実際の値それぞれの対数を取り、その差を二乗します。次に、全てのデータについて二乗した差の平均値を計算し、最後にその平方根を求めます。数式で表現すると少し複雑に見えますが、基本的な考え方は、予測値と実際の値の比率がどれくらい１に近いのかを見るということです。

RMSLEは、特に実際の値の範囲が広い場合に有効です。例えば、不動産価格や商品の売り上げなど、値が大きく異なる場合、RMSLEを使うことで、小さな値の予測精度も適切に評価できます。一方、RMSLEは実際の値が０に近い場合や負の値をとる場合には使えません。そのような場合は、他の評価方法を検討する必要があります。

計算方法

計算方法は、平均二乗対数誤差を求める手順を踏みます。この計算方法は、予測した値と実際の値がどれくらい離れているかを測るものです。手順は少し込み入っていますが、一つずつ見ていくと理解しやすいでしょう。

まず、それぞれのデータについて、予測値と実際の値の対数を計算します。対数を使う理由は、実際の値と予測値の比率に着目するためです。例えば、実際の値が１０で予測値が１００の場合と、実際の値が１０００で予測値が１００００の場合、どちらも予測値は実際の値の１０倍ですが、対数を使うことでこの比率の違いを同じように評価できます。

次に、それぞれのデータについて、予測値の対数と実際の値の対数の差を計算し、その差を二乗します。二乗する理由は、誤差を常に正の値にするためです。正負の値が混ざっていると、互いに打ち消しあって、全体の誤差が小さくなってしまう可能性があります。二乗することで、誤差の大きさだけを正しく評価できます。また、二乗することで大きな誤差の影響をより大きく捉えることができます。

全てのデータについて二乗した誤差を計算したら、それらを全て足し合わせ、データの数で割って平均値を求めます。

最後に、計算した平均値の平方根を求めます。平方根を求める理由は、二乗によって強調された誤差の影響を調整し、元の値の尺度に近づけるためです。

こうして求められた値が小さいほど、予測の精度は高いと判断できます。対数の計算には、どのような正の数でも底として使えますが、多くの場合、ネイピア数と呼ばれる特別な数が使われます。

他の指標との比較

平均二乗対数誤差（RMSLE）は、他の指標と比較することで、その利点が明確になります。よく似た指標である平均二乗平方根誤差（RMSE）と比較してみましょう。RMSEは、予測値と実際の値の差を二乗し、それらの平均の平方根を計算することで得られます。この計算方法により、RMSEは誤差の大きさそのものを重視する傾向があります。つまり、大きな値の予測誤差は、小さな値の予測誤差よりも大きな影響を与えます。

一方、RMSLEは、予測値と実際の値それぞれの対数の差を用いて計算されます。これは、RMSLEが相対的な誤差を重視することを意味します。つまり、実際の値が大きくても小さくても、予測の正確さを公平に評価できます。例えば、10と100を予測する場合を考えてみましょう。RMSEでは、10の予測を9とする誤差1と、100の予測を90とする誤差10では、後者の誤差がより大きく評価されます。しかし、RMSLEでは、どちらの誤差も10%のずれであるため、同等に評価されます。

この特徴から、RMSLEは、予測対象の値の範囲が広い場合や、小さな値の誤差も重要な意味を持つ場合に特に有効です。例えば、不動産価格の予測を考えてみましょう。高額な物件の価格の誤差は、RMSEでは大きな影響を与えますが、RMSLEでは相対的な誤差として評価されるため、よりバランスの取れた評価が可能になります。同様に、商品の売上予測など、値の範囲が広い場合にも、RMSLEは有効な指標となります。また、医療診断など、小さな値の誤差も見逃せない場合にも、RMSLEはRMSEよりも適切な指標となり得ます。このように、RMSLEは、RMSEでは捉えきれない相対的な誤差を評価することで、より実用的な分析を可能にするのです。

適用事例

平均二乗対数誤差（RMSLE）は、様々な場面で使われています。

例えば、お店で売れる商品の数を予想したり、株価の上がり下がりを予測したり、ホームページへのアクセス数を推測したりなど、あらゆる場面で活用されています。これらの予測は、常に正の値を扱う回帰問題と呼ばれ、RMSLEはそこで広く使われているのです。

RMSLEは特に、予測した値と本当の値の比率が重要な時に力を発揮します。例えば、商品がどれだけ売れるかを予測する場合、実際に売れた数だけでなく、予測した数がどれだけ実際の販売数に近かったか、という相対的な正確さが大切になります。100個売れるところを80個と予測するのと、10個売れるところを8個と予測するのでは、一見どちらも20個の誤差ですが、比率で考えると後者の予測の方がより正確と言えるでしょう。このような場合にRMSLEを使うことで、より現実世界に即した評価をすることができます。

また、RMSLEには極端に大きな値や小さな値といった異常値の影響を受けにくいという特徴があります。例えば、ある商品の販売数が通常10個程度のところ、ある日だけ100個売れたとします。このような異常値があると、予測の正確さを測るのが難しくなりますが、RMSLEはこれらの異常値の影響をあまり受けないので、より安定した評価をすることが可能です。つまり、様々なデータが混ざっている状況でも、RMSLEは安心して使うことができるのです。

注意点

平均二乗対数誤差（RMSLE）を用いる際には、いくつかの注意点に留意する必要があります。まず、RMSLEは、実際の値が0の場合、計算ができません。これは、対数の計算において、0は定義されていないためです。このような状況に直面した場合は、真の値に微小な値を足すことで対処できます。たとえば、0.0001のような小さな値を加えることで、計算が可能になります。

次に、RMSLEは対数変換を用いることで、小さな値の誤差を大きく、大きな値の誤差を小さく扱うという特性があります。これは、例えば、真の値が1と100の場合、それぞれ1ずれた2と101では、対数変換を行うと、誤差の大きさが異なって評価されることを意味します。具体的には、小さな値である1付近での誤差は、大きな値である100付近での誤差よりも、RMSLEでは大きな影響を与えます。そのため、大きな値における誤差が見逃される可能性があることを理解しておく必要があります。

さらに、RMSLEだけでモデルの良し悪しを判断することは避けるべきです。RMSLEはあくまで指標の一つであり、モデルの性能評価を多角的に行うためには、他の指標も併せて検討する必要があります。例えば、平均絶対誤差（MAE）や決定係数（R^2）など、異なる特性を持つ指標と組み合わせて用いることで、モデルの性能をより包括的に把握することができます。

最後に、RMSLEを適切に解釈するためには、予測対象のデータの性質を理解することが不可欠です。RMSLEの特性を踏まえ、データの分布や値の範囲などを考慮することで、より正確な解釈が可能になります。RMSLEは万能な指標ではなく、他の指標と同様に、適用するデータの特性に合わせて適切に使用する必要があります。 複数の指標を組み合わせて総合的に判断することで、より精度の高いモデル評価を実現できます。

まとめ

予測値と実際の値のずれを測る尺度は様々ありますが、その中で、平均二乗対数誤差（RMSLE）は、特に正の値を予測する問題で役立つ尺度です。RMSLEは、予測値と実際の値の対数の差を二乗し、その平均の平方根を取ることで計算されます。RMSLEを使う大きな利点は、値の大小にかかわらず、予測の正確さを平等に評価できる点です。例えば、100と110の差と、1と1.1の差は、同じ比率のずれですが、通常の平均二乗平方根誤差（RMSE）では、前者のずれの方が大きく評価されてしまいます。RMSLEでは、両者のずれは同じ重みで評価されるため、より公平な評価ができます。

しかし、RMSLEを用いる際には、いくつか注意すべき点があります。まず、実際の値が0の場合、RMSLEは計算できません。これは、対数関数の性質上、0の対数は定義されていないためです。そのため、実際の値に0が含まれるデータにRMSLEを適用する場合は、何らかの工夫、例えばわずかな値を加えるなどの処理が必要になります。また、RMSLEは小さな値のずれを大きく評価する傾向があります。これは、対数変換によって、小さな値の差が拡大されるためです。そのため、小さな値のずれを重視しない問題にRMSLEを適用すると、モデルの評価が歪んでしまう可能性があります。

RMSLEは単独で使うよりも、他の尺度と組み合わせて使うことで、より多角的なモデル評価が可能になります。例えば、RMSEや平均絶対誤差（MAE）といった尺度と併用することで、モデルの全体的な性能をより正確に把握できます。RMSLEは便利な尺度ですが、万能ではありません。データの特性や予測問題の目的に合わせて、適切な尺度を選択し、総合的に判断することが、より精度の高い予測モデルの構築には不可欠です。