マイクロ平均：全体像を捉える評価指標

マイクロ平均：全体像を捉える評価指標

マイクロ平均とは

「マイクロ平均」とは、機械学習の分類問題で、モデルの良し悪しを測る大切な指標のことです。 特に、複数の種類に分けたいときに役立ちます。正解と不正解を数えることで、モデルの性能を調べます。似ている言葉に「マクロ平均」がありますが、両者は違います。マイクロ平均は、全てのデータをまとめて、一つの大きなグループとして扱います。 正解の数、不正解の数を全体で数え、そこからモデルの正確さなどを計算します。それぞれの種類の良し悪しは気にせず、全体的な性能を重視するのが特徴です。

例えば、犬、猫、鳥の絵を分類するモデルを考えます。犬の絵が100枚、猫の絵が50枚、鳥の絵が10枚あるとします。マイクロ平均では、この160枚の絵をまとめて考えます。犬、猫、鳥、それぞれの分類の正確さを個別に計算するのではなく、160枚全体でどれくらい正確に分類できたかを計算します。

マイクロ平均を使う大きな利点は、データの偏りに強いことです。 例えば、鳥の絵が10枚しかないと、鳥の分類の精度は、全体の精度にあまり影響を与えません。全体で160枚もあるので、10枚は少ない割合だからです。もし、それぞれの種類の精度を平均するマクロ平均を使うと、鳥の分類の精度が低くても、全体の精度に大きく影響してしまいます。

データの偏りが大きい場合、マイクロ平均は、全体的な性能を把握するのにとても役立ちます。 特に、現実世界の問題では、データの数が種類によって大きく異なることがよくあります。そのような場合に、マイクロ平均は、偏りに惑わされずに、モデルの真の性能を評価するのに役立ちます。つまり、マイクロ平均は、全体像を把握するための指標として、モデルの性能を測る上で重要な役割を果たすのです。

計算方法

計算方法は、とても分かりやすい手順で行います。複数の種類に分かれているもののそれぞれについて、正しく当てられた数、当てられなかった数、間違って当てられた数、本来あるべきものとして数えられていない数を全て合計します。次に、これらの合計値を使って、全体の正答率、網羅率、そしてこれらのバランスを示す値を計算します。正答率は、全体の中で正しく分類されたものの割合を示し、網羅率は、本来あるべきものの中で正しく分類されたものの割合を示します。バランスを示す値は、正答率と網羅率の調和平均で、両方の指標を均等に見て評価するために使われます。この方法では、種類ごとの良し悪しは考えず、全体のデータ数に対する割合を用います。これにより、データの偏りの影響を受けにくい、安定した評価を行うことができます。

具体的な計算式は以下のとおりです。マイクロ正答率は、(正しく当てられた数の合計) / (正しく当てられた数の合計 + 間違って当てられた数の合計)で求めます。マイクロ網羅率は、(正しく当てられた数の合計) / (正しく当てられた数の合計 + 本来あるべきものとして数えられていない数の合計)で求めます。そして、マイクロバランス値は、(2 × マイクロ正答率 × マイクロ網羅率) / (マイクロ正答率 + マイクロ網羅率)で求めます。この方法を使うことで、全体的な性能を分かりやすく評価できます。

マクロ平均との違い

複数の種類を当てる問題で、作った予測の仕組みがどれくらいうまくいっているかを測るのに、小さな視点で測る方法と大きな視点で測る方法があります。小さな視点で測る方法は「個別平均」と呼ぶことにしましょう。大きな視点で測る方法は「全体平均」と呼ぶことにしましょう。

全体平均は、全ての結果をまとめて、全体の正答率、見つけ出す力、そしてこの二つのバランスを測ります。例えば、たくさんの種類の果物を判別する仕組みを作ったとします。全体平均では、りんご、みかん、ぶどう、全ての果物を合わせて、どれくらい正しく判別できたかを測ります。この方法は、果物の種類によってデータの数が大きく違っても、全体的な性能を把握するのに役立ちます。しかし、もし、りんごのデータが非常に多く、ぶどうのデータが非常に少ない場合、ぶどうの判別がうまくいかなくても、りんごの判別が良ければ全体としては良い結果に見えてしまいます。つまり、少ない種類の果物の判別の良し悪しが見えにくくなるのです。

一方、個別平均は、それぞれの果物ごとに正答率、見つけ出す力、そしてこの二つのバランスを測り、その後、それぞれの果物で得られた数値の平均を計算します。この方法では、りんご、みかん、ぶどう、それぞれの判別の正確さを把握できます。もし、ぶどうの判別が苦手でも、それがはっきりと分かります。しかし、もし、りんごのデータが非常に多く、ぶどうのデータが非常に少ない場合、ぶどうの判別結果が全体の平均に大きく影響を与えてしまいます。つまり、データ数の少ない種類の果物の結果に引っ張られてしまうのです。

どちらの方法が良いかは、何を重視するかによって変わります。もし、それぞれの果物を同じくらい正確に判別したい場合は、個別平均が良いでしょう。もし、全体的な判別の正確さを重視する場合は、全体平均が良いでしょう。また、データの数が少ない果物の判別が重要であれば、個別平均を、データ全体の判別が重要であれば全体平均を選びましょう。

活用事例

様々な分野で活用されている機械学習モデルの評価において、マイクロ平均は重要な役割を担っています。マイクロ平均は、データの量に偏りがある場合でも、全体的な性能を正しく測ることができるからです。

例えば、ニュース記事を話題ごとに分類する作業を考えてみましょう。政治や経済といった主要な話題の記事は大量にありますが、地域特有の祭りなど、限られた話題の記事は数が少ない場合があります。このような場合、記事が少ない話題の分類精度が低くても、記事数が多い話題の精度が高ければ、全体の精度は高く見えてしまいます。マイクロ平均を用いることで、記事数の多少に関わらず、それぞれの話題の分類精度を均等に反映した全体精度を算出できます。つまり、記事数の偏りに影響されずに、モデルの真の実力を測ることができるのです。

医療診断支援の分野でもマイクロ平均は役立ちます。例えば、ある病気の発生頻度が非常に低いとします。この病気の診断精度が低くても、他の一般的な病気の診断精度が高ければ、全体の精度は高く出てしまう可能性があります。しかし、マイクロ平均を用いれば、発生頻度の低い病気の診断精度も適切に評価に組み込まれます。これにより、稀な病気の診断においても、モデルがどの程度正確に機能しているかを把握できます。

顧客の購買行動を予測する場面でも、マイクロ平均は力を発揮します。顧客を年齢や地域などでグループ分けしたとき、それぞれのグループの人数が異なる場合があります。人数の少ないグループの予測精度が低くても、人数の多いグループの精度が高ければ、全体の精度は高く見えてしまうかもしれません。しかし、マイクロ平均を用いることで、グループの人数に関係なく、それぞれのグループに対する予測精度を均等に評価できます。これにより、特定の顧客層に対する予測の偏りを防ぎ、より公平な評価を行うことができるのです。

マイクロ平均の利点

多くの種類を分類する場面で、それぞれの正答率を測る際に、マイクロ平均という方法を使うと、データの偏りの影響をあまり受けずに済みます。
たとえば、犬や猫、鳥など、様々な種類の動物を分類する場合を考えてみましょう。それぞれの動物の写真をたくさん集めたとします。しかし、集めた写真の中には、犬の写真はたくさんあるけれど、鳥の写真は少ししかない、といったように、種類によって写真の枚数が大きく異なる場合があります。このようなデータの偏りがある場合、種類ごとの正答率を単純に平均するマクロ平均という方法では、写真の枚数が少ない種類、つまり鳥の正答率の影響が小さくなってしまい、全体的な分類の正しさを正しく表せないことがあります。

マイクロ平均では、犬、猫、鳥など、全ての動物の写真をまとめて、全体でどれだけの数を正しく分類できたかを計算します。たとえば、犬の写真を100枚中90枚、猫の写真を50枚中40枚、鳥の写真を10枚中8枚正しく分類できたとすると、マイクロ平均では合計160枚中138枚を正しく分類できたと計算します。このように、マイクロ平均では写真の枚数が少ない鳥の正答率も、他の動物と同じように計算に含まれるため、データの偏りに左右されない、より信頼できる結果が得られます。

マイクロ平均は計算方法も比較的簡単で分かりやすいという利点もあります。全体的な分類の正しさを知りたい場合や、データの偏りが心配される場合には、マイクロ平均を使うのがおすすめです。

マイクロ平均の欠点

マイクロ平均は、複数の分類項目を持つデータ全体の性能を測る便利な物差しです。しかし、便利な反面、いくつかの弱点も持っています。その弱点の一つは、個々の分類項目ごとの性能の違いを無視してしまうことです。全体を見て良い成績に見えても、実は特定の項目の成績が非常に悪い、という状況を見逃してしまう可能性があります。

例えば、健康診断の結果を想像してみてください。血圧、血糖値、コレステロール値など、様々な項目を測定します。マイクロ平均は、これらの項目全体をまとめて評価します。もし、血圧と血糖値は良好だが、コレステロール値だけが非常に悪い場合、マイクロ平均では全体的には健康であるように見えてしまいます。コレステロール値の異常を見逃してしまう危険性があるのです。つまり、個々の項目の詳細な分析が必要な場合は、マイクロ平均だけでは不十分です。

また、データの偏り、つまり項目ごとのデータ量の差が大きい場合にも、マイクロ平均は注意が必要です。データ量の少ない項目の成績は、データ量の多い項目の成績に埋もれてしまい、正しく評価されない可能性があります。例えば、ある病気の診断を考えます。その病気は非常に珍しく、患者数は全体の1%しかいないとします。残りの99%は健康な人です。この場合、たとえその病気の診断精度が0%であったとしても、マイクロ平均にはほとんど影響を与えません。99%の健康な人の診断精度が高ければ、全体の平均値は高くなるからです。つまり、データの偏りが大きい場合、マイクロ平均は少数派の項目の性能を過小評価してしまうのです。

このようなマイクロ平均の弱点を補うためには、項目ごとの性能を個別に評価するマクロ平均や、データの偏りを考慮した評価指標を使うことが重要になります。それぞれの項目の状況を詳しく把握し、適切な対策を立てるために、マイクロ平均だけでなく、他の指標も組み合わせて使う必要があると言えるでしょう。