情報量規準とは？AIC・BICの違いとモデル選択の考え方を解説

情報量規準とは？AIC・BICの違いとモデル選択の考え方を解説

情報量規準とは何か

情報量規準とは、候補となるモデル同士を比べるための評価指標です。基本的には、値が小さいモデルほど、比較した候補の中では望ましいと考えます。

ここで重要なのは、情報量規準が「当てはまりの良さ」だけを見ていない点です。モデルがデータをよく説明できるほど評価は良くなりますが、パラメータ数が多く複雑なモデルにはペナルティが加わります。つまり、複雑にすればするほど有利になる、という単純な競争にならないように設計されています。

たとえば売上予測モデルを作る場合、価格、広告費、気温、曜日、キャンペーン、店舗ごとの特徴など、説明に使えそうな変数はいくつもあります。変数を増やせば過去データには合いやすくなりますが、偶然の揺らぎまで拾う可能性も高くなります。情報量規準は、そのような候補モデルを比べるときの物差しになります。

なぜ精度だけでモデルを選べないのか

モデル選択でよくある誤解は、「学習データで最も精度が高いモデルが最良である」と考えてしまうことです。もちろん精度は重要ですが、学習データへの当てはまりだけを追うと、過学習を起こすことがあります。

過学習とは、モデルが学習データの本質的な傾向だけでなく、偶然のノイズや細かな例外まで覚えてしまう状態です。暗記だけで練習問題に対応した生徒が、少し形式の違う試験で解けなくなる状況に近いと言えます。

本当に選びたいのは、手元のデータにだけ強いモデルではなく、未知のデータにも安定して使えるモデルです。そのため、モデルの評価では汎化性能を意識する必要があります。情報量規準は、複雑なモデルにペナルティを与えることで、過学習しやすいモデルを選びにくくします。

AICの考え方と式の読み方

AICは「赤池情報量規準」と呼ばれ、統計学者の赤池弘次氏によって提案された代表的な情報量規準です。AICは、モデルの当てはまりの良さと、パラメータ数による複雑さのペナルティを組み合わせて評価します。

AICの代表的な式は次のように書かれます。

\(AIC = -2\log L + 2k\)

ここで、Lは最大尤度、kはモデルのパラメータ数です。最大尤度は、観測されたデータをそのモデルがどれだけ自然に説明できるかを表します。尤度が大きいほど当てはまりが良いため、-2\log Lは小さくなります。

一方で、2kは複雑さへのペナルティです。パラメータが増えるほどこの項が大きくなり、AIC全体の値も大きくなりやすくなります。つまりAICは、よく当てはまるだけでなく、余計に複雑でないモデルを評価する仕組みです。

初心者がまず押さえるべき点は、AICが「候補モデル間の比較」に使われることです。AICの値そのものを絶対評価として読むのではなく、同じデータに対して推定した複数モデルのAICを並べ、より小さいものを選ぶのが基本です。

BICの考え方とAICとの違い

BICは「ベイズ情報量規準」と呼ばれる指標で、AICと同じくモデル選択に使われます。BICも当てはまりの良さと複雑さを同時に見ますが、AICよりも複雑なモデルに厳しいペナルティを与えやすい点が特徴です。

BICの代表的な式は次のように書かれます。

\(BIC = -2\log L + k\log n\)

nはデータ数、つまり標本数です。AICのペナルティが2kであるのに対し、BICではk\log nとなります。データ数が多くなるほど\log nも大きくなるため、BICは大きなデータでは複雑なモデルをより慎重に扱います。

AICは予測の良さを重視した比較で使われることが多く、BICはより簡潔なモデルを選びやすい傾向があります。ただし、どちらが常に正しいというものではありません。分析目的、候補モデルの性質、データ数、解釈のしやすさを合わせて判断することが大切です。

情報量規準を使ったモデル選択の手順

情報量規準を使うときは、候補モデルを適当に並べるのではなく、比較条件をそろえることが重要です。基本的な流れは次の通りです。

1. 比較したい候補モデルを用意する。
2. 同じデータ、同じ目的変数、同じ前処理条件で各モデルを推定する。
3. 各モデルのAICやBICを計算する。
4. 値が最も小さいモデルを確認する。
5. 差が小さい場合は、解釈性、検証データでの性能、実務上の使いやすさも見る。

たとえば売上予測で、モデルAは価格だけ、モデルBは価格と広告費、モデルCは価格・広告費・気温・曜日を使うとします。モデルCは学習データにはよく合うかもしれませんが、変数が多いためペナルティも大きくなります。AICやBICを比べることで、当てはまりの改善が複雑さに見合っているかを確認できます。

情報量規準の差が大きい場合は判断しやすい一方、差が小さい場合は機械的に最小値だけで決めない方がよいこともあります。説明しやすいモデル、運用しやすいモデル、将来のデータで安定しやすいモデルを合わせて検討しましょう。

実務・学習での使いどころ

情報量規準は、統計解析や機械学習のさまざまな場面で使われます。代表的なのは、回帰分析の説明変数選択です。売上、需要、価格、リスクなどを予測するモデルで、どの変数を含めるべきかを比べるときに役立ちます。

時系列分析では、自己回帰モデルやARIMAモデルの次数選択に使われます。過去何期分のデータを使うか、移動平均の次数をどうするかといった候補を比較するとき、AICやBICが判断材料になります。

機械学習でも、統計モデルに近い枠組みでは情報量規準が活用されます。ただし、深層学習のようにパラメータ数が非常に多いモデルでは、単純なAICやBICだけで性能を判断しにくいことがあります。その場合は、検証データ、交差検証、正則化、テストデータでの評価などと合わせて使います。

情報量規準を使うときの注意点

情報量規準は便利ですが、万能な指標ではありません。まず、AICやBICは基本的に同じデータに対して推定した候補モデルを比較するためのものです。目的変数が違う、前処理が大きく違う、学習データの範囲が違うといった場合は、単純に数値だけを比べると誤解につながります。

また、値が小さいモデルが常に実務で最適とは限りません。少しAICが小さいだけの複雑なモデルより、説明しやすく、運用しやすく、データが変わっても安定するモデルの方が適している場面もあります。特にビジネスや医療、金融のように判断理由が重要な領域では、モデルの解釈性も重要です。

さらに、情報量規準は候補に含めたモデルの中から比較するだけです。そもそも候補モデルが不適切であれば、最小のAICやBICを選んでも良い分析にはなりません。データの理解、仮説の確認、外れ値や欠損値への対応も、モデル選択と同じくらい大切です。

まとめ

情報量規準は、モデルの当てはまりの良さと複雑さを同時に評価し、候補モデルを比較するための指標です。値が小さいほど、比較した候補の中では望ましいモデルと考えます。

AICは赤池情報量規準、BICはベイズ情報量規準です。どちらも過学習を避けるために複雑さへペナルティを加えますが、BICはデータ数を含むため、AICより簡潔なモデルを選びやすい傾向があります。

モデル選択では、情報量規準の最小値だけでなく、検証データでの性能、交差検証、解釈性、分析目的を合わせて見ることが重要です。精度だけに頼らず、複雑さとのバランスを意識することで、未知のデータにも使いやすいモデルを選びやすくなります。

更新履歴