二値分類の評価指標 - noriho137’s diary

機械学習の二値分類の評価指標について、ついつい忘れがちなのでメモしておこう。

混同行列

二値分類の混同行列は次のとおり。

	陰性と予測	陽性と予測
実際は陰性	真陰性 (True Negative; TN)	偽陽性 (False Positive; FP)
実際は陽性	偽陰性 (False Negative; FN)	真陽性 (True Positive; TP)

それぞれの件数を表形式で把握できるので視覚的にも分かりやすい。以降でまとめている各種評価指標を計算する際にも使用する重要な情報。

正解率

正解率 (Accuracy) は次式で定義される。

$\begin{align} \text{Accuracy} &=\frac{\text{TN} + \text{TP}}{\text{TN} + \text{FP} + \text{FN} + \text{TP}} \\ \end{align}$

全件中何件予測が正しかったかを表す指標になっている。単純で分かりやすいが、陰性サンプル数と陽性サンプル数が不均衡な場合は適切な評価ができないので要注意。

適合率・再現率

上記の {TN, FP, FN, TP} を用いると適合率 (Precision)、再現率 (Recall) は次式で定義される。

$\begin{align} \text{Precision} &=\frac{\text{TP}}{\text{TP} + \text{FP}} \\ \text{Recall} &=\frac{\text{TP}}{\text{TP} + \text{FN}} \end{align}$

つまりはこういうことだ。

適合率：陽性と予測したもののうち、実際に陽性だったものの割合
再現率：実際に陽性であるもののうち、陽性と予測できたものの割合

F1値

F1値 (F1 score, F1 measure) は適合率と再現率の調和平均で定義される。

$\begin{align} F1 &= \frac{2}{\frac{1}{\text{Precison}} + \frac{1}{\text{Recall}}} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} \end{align}$

ちなみに適合率も再現率も比率である。比率に対する平均なので、単なる平均ではなく、調和平均が適切だということ。