Cohen's kappa(코헨의 카파)

📌 Cohen's kappa k

---

 

Cohen's kappa (κ)는 머신러닝 및 통계에서 사용되는 통계적 측정 지표 중 하나로, 두 명 이상의 평가자 간의 일치도(범주형 자료에서)를 측정하는 데 사용되는 통계량 입니다.

 

특히, 이 지표는 분류 작업에서 모델의 성능을 측정하는 데 적용되며, 평가자 간의 일치 정도를 고려하여 모델의 성능을 조정합니다.

 

Cohen's kappa는 혼란 행렬(Confusion Matrix)에 기반하며, 주로 이진 또는 다중 클래스 분류 문제에서 사용됩니다.

 

혼란 행렬은 아실거라 생각하고 혹시 모르신다면 혼동행렬 설명 링크를 확인해주세요.

 

Cohen's kappa는 다음과 같은 공식으로 정의됩니다:

$$
\kappa = \dfrac{P_O-P_E}{1-P_E}
$$

 

여기서 $P_O$는 관측된 일치도로 평가자 간의 실제 일치하는 비율입니다. $P_E$는 기대되는 일치도로 무작위로 예측할 경우의 평가자간의 일치 비율입니다. 각각 아래와 같습니다.

 

$$
P_O = \dfrac{TN+TP}{Whole}
$$

$$
P_E = \dfrac{(TN+FN)(TN+FP)+(FN+TP)(FP+TP)}{Whole^2}
$$

 

이 $\kappa$값은 -1~1의 값을 가지며 아래와 같은 의미를 지닙니다.

• $\kappa =1$ : 완벽한 일치
• $\kappa = 0$ : 무작위 예측과 유사한 수준의 일치
• $\kappa = -1$ : 완벽한 불일치

 

학자마다 $\kappa$의 어느정도 값이 좋은지 상이한 부분이 있고 해석 지수의 어려움으로 인한 논란도 있지만 보통 0.61을 넘어가면 좋은 값이라고 판단하는 경우가 있다고 합니다. 반면 0.20아래는 낮은 일치로 간주한다고 합니다.

 

이런 Cohen's kappa는 클래스 불균형이나 무작위 일치 가능성을 고려하여 모델의 성능을 더 정확하게 평가하는 데 도움이 됩니다.