코헨의 카파 계수는 두 명의 평가자(또는 두 가지 평가 방법)가 동일한 항목을 평가할 때, 그 평가의 일치도를 측정하는 통계적 방법입니다. 단순한 일치율과는 달리, 코헨의 카파 계수는 우연에 의한 일치를 고려하여 계산됩니다.
코헨의 카파 계수는 다음과 같은 공식을 사용하여 계산됩니다:
\[ \kappa = \frac{P_o - P_e}{1 - P_e} \]
여기서:
- - \( P_o \)는 관찰된 일치율입니다.
- - \( P_e \)는 우연에 의한 기대 일치율입니다.
카파 계수의 값은 -1에서 1 사이의 값을 가지며, 다음과 같이 해석할 수 있습니다:
- 1: 완벽한 일치
- 0: 우연에 의한 일치
- 음수: 평가자 간의 일치가 우연보다 나쁨
일반적으로 카파 계수의 값이 0.6 이상이면 "좋은" 일치, 0.8 이상이면 "매우 좋은" 일치로 간주됩니다.
코드에서 코헨의 카파 계수를 계산하는 부분은 다음과 같습니다:
코헨의 카파 계수는 두 평가자가 동일한 항목을 평가할 때 그 평가의 일치도를 측정하는 통계적 방법입니다. 예시를 통해 코헨의 카파 계수를 계산하는 방법을 설명하겠습니다.
예시 문제
50명의 사람에 대한 두 평가자(A와 B)의 평가 데이터가 다음과 같다고 가정합니다:
| | 평가자 B | | |
|-------|----------|-----|-----|
| | Yes | No | 합계|
| 평가자 A | | | |
| Yes | 20 | 5 | 25 |
| No | 10 | 15 | 25 |
| 합계 | 30 | 20 | 50 |
계산 과정
1. 관찰된 일치율 (\(P_o\)) 계산:
- 평가자 A와 B가 모두 "Yes"라고 평가한 경우: 20명
- 평가자 A와 B가 모두 "No"라고 평가한 경우: 15명
- 따라서, 관찰된 일치율 \(P_o\)는 다음과 같습니다:
P_o = \frac{20 + 15}{50} = 0.70
\]
2. 우연에 의한 기대 일치율 (\(P_e\)) 계산:
- 평가자 A가 "Yes"라고 평가한 비율: 2550=0.50
- 평가자 B가 "Yes"라고 평가한 비율: 3050=0.60
- 평가자 A와 B가 우연히 모두 "Yes"라고 평가할 확률: 0.50×0.60=0.30
- 평가자 A가 "No"라고 평가한 비율: 2550=0.50
- 평가자 B가 "No"라고 평가한 비율: 2050=0.40
- 평가자 A와 B가 우연히 모두 "No"라고 평가할 확률: 0.50×0.40=0.20
- 따라서, 우연에 의한 기대 일치율 \(P_e\)는 다음과 같습니다:
\[
P_e = 0.30 + 0.20 = 0.50
\]
- 코헨의 카파 계수 (\(\kappa\)) 계산:
해석
코헨의 카파 계수 0.40은 "보통" 수준의 일치를 나타냅니다. 일반적으로 카파 계수의 해석은 다음과 같습니다:
- 0.01 - 0.20: 약간의 일치
- 0.21 - 0.40: 보통의 일치
- 0.41 - 0.60: 중간 정도의 일치
- 0.61 - 0.80: 상당한 일치
- 0.81 - 1.00: 거의 완벽한 일치
이 예시에서 코헨의 카파 계수는 0.40으로, 평가자 간의 일치도가 보통 수준임을 나타냅니다.
참고 자료
- TutorialsPoint - Cohen's Kappa Coefficient
- Datatab - Cohen's Kappa
- Datanovia - Kappa Coefficient Interpretation
'통계(Statistics)' 카테고리의 다른 글
| t-test를 이용해서 두 집단간의 차이를 검정하는 방법 (0) | 2022.12.23 |
|---|---|
| 박스 플롯(box plot) 설명 (7) | 2017.09.20 |
| 중심극한정리 (0) | 2017.09.08 |