残差平方和（SSE）とは？求め方とモデル評価での見方をわかりやすく解説

残差平方和（SSE）とは？求め方とモデル評価での見方をわかりやすく解説

残差平方和（SSE）は、回帰分析や機械学習で頻繁に登場します。ただし、単に「小さければ良い」と覚えるだけでは、データ数や単位が異なるモデルを誤って比較しかねません。本記事では、定義と求め方を具体例で確認したうえで、MSE・RMSE・決定係数との違い、実務で見るべき注意点まで解説します。

残差平方和（SSE）とは

\(\displaystyle \mathrm{SSE}=\sum_{i=1}^{n}(y_i-\hat{y}_i)^2\)

残差平方和とは、各データの観測値と予測値の差を二乗し、その総和を取った指標です。式の \(y_i\) は実際に観測された値、\(\hat{y}_i\) はモデルの予測値、\(n\) はデータ数を表します。残差を \(e_i=y_i-\hat{y}_i\) と置けば、SSEは \(\sum_{i=1}^{n}e_i^2\) と書けます。

差をそのまま合計すると、プラスのずれとマイナスのずれが相殺されます。たとえば残差が20と−20なら合計は0ですが、予測が完全に正しいわけではありません。二乗すれば400と400になり、ずれの大きさを合計できます。また、大きな残差ほど強く反映されるため、外れた予測に重いペナルティーを与える性質があります。

同じデータを同じ尺度で評価するなら、SSEが小さいモデルほど観測値に近い予測をしています。ただしSSEは0以上で、0なら全予測が観測値と一致しています。値に上限はなく、データ数や目的変数の尺度でも大きさが変わります。

残差平方和の求め方

計算は、①観測値と予測値の差を求める、②差を二乗する、③すべて合計する、という3段階です。残差を「観測値−予測値」とするか「予測値−観測値」とするかで符号は逆になりますが、二乗後のSSEは同じです。

商品の売上予測を例に、観測値が100、120、80、予測値が90、110、100だったとします。

\(\displaystyle \mathrm{SSE}=10^2+10^2+(-20)^2=600\)

この例のSSEは600です。3番目の予測は残差の絶対値が20と大きいため、二乗後は400となり、合計に大きく影響しています。どのデータがSSEを押し上げたかも確認すると、モデル改善の手掛かりになります。

SSEはモデル評価でどう使うか

線形回帰では、学習データに対するSSEが最小になるように直線や係数を決める「最小二乗法」がよく使われます。SSEは評価指標であると同時に、モデルを学習させる目的関数にもなるわけです。

複数の候補モデルを同じ評価データで比べる場合、SSEが小さい方は、そのデータに対する二乗誤差の合計が小さいと判断できます。一方、パラメータを増やした複雑なモデルは学習データのSSEを小さくしやすくても、未知データでは誤差が増えることがあります。これは過学習と呼ばれます。

実際のモデル選択では、学習に使っていない検証データやテストデータでSSEなどを計算し、未知データへの予測性能を確かめます。学習SSEだけでモデルの良し悪しを決めないことが重要です。

MSE・RMSE・決定係数（R²）との違い

SSEは関連指標の土台です。平均的な誤差を比較したいのか、元の単位で誤差を読みたいのか、データのばらつきをモデルがどれだけ説明したかを知りたいのかによって使い分けます。

ここで \(\mathrm{SST}=\sum(y_i-\bar{y})^2\) は全平方和、\(\bar{y}\) は観測値の平均です。切片を含む線形回帰を学習データ上で評価する典型的な条件ではR²は0〜1に収まりやすいものの、モデルや評価条件によってはR²が負になることもあります。その場合、平均値を予測する単純な基準より当てはまりが悪いことを表します。

SSEでモデルを比較するときの注意点

SSEの大小をそのまま比べられるのは、基本的に同じデータと同じ尺度で評価した場合です。次の点を確認しましょう。

• データ数：SSEは合計値なので、同程度の誤差でもデータが多いほど増えやすくなります。件数が異なる場合はMSEやRMSEが比較しやすいことがあります。
• 尺度と単位：円と万円、メートルとセンチメートルのように尺度を変えるとSSEは大きく変わります。異なる目的変数同士の直接比較には向きません。
• 外れ値：残差を二乗するため、極端な外れ値の影響を強く受けます。残差プロットやMAEなども併用すると評価が偏りにくくなります。
• 評価データ：候補モデルは同じ検証・テストデータで比べます。異なるデータで得たSSEの単純比較は公平ではありません。
• 残差の符号：SSEだけなら引き算の向きは結果に影響しません。ただし、過大予測・過小予測の偏りを見る残差分析では符号が重要なので、定義を統一します。

絶対誤差を合計するSAEや平均するMAEは、SSEやMSEより外れ値の影響を受けにくい指標です。大きな誤差を強く避けたいなら二乗誤差、典型的なずれを頑健に見たいなら絶対誤差というように、業務上の損失に合わせて選びます。

残差平方和の実践的な活用例

SSEは、連続値を予測するさまざまな場面で使えます。需要予測では販売数の予測と実績のずれ、金融では価格やリスク指標のモデル誤差、医療研究では検査値や経過の予測誤差を測る基礎になります。

ただし、SSEが小さいことだけで施策・投資・治療の妥当性が決まるわけではありません。データの質、予測区間、別指標、専門家による判断などと合わせて使う必要があります。

まとめ

残差平方和（SSE）は、観測値と予測値の差を二乗し、すべて合計した値です。正負の残差が打ち消し合わず、大きな予測ミスを強く反映できるため、回帰モデルの評価や最小二乗法に利用されます。

求め方は「残差を計算する→二乗する→合計する」の3段階です。同じデータ・同じ尺度なら小さいほど当てはまりがよいと解釈できますが、データ数や単位が違うSSEは単純比較できません。平均的な二乗誤差にはMSE、元の単位での誤差にはRMSE、データのばらつきに対する説明力にはR²を使い分けましょう。

更新履歴