Confusion Matrix, Sensitivity, Specificity

Cohen's kappa

• the kappa as a measure of agreement between 2 individuals 
• 2명의 평가자가 평가한 분류 결과가 얼마나 일치하는 지에 대한 통계적 지표
• 친절한 한글 설명(2012.01)
• 상세한 영문 설명(2014.01)
• the kappa statistic is a measure of how closely the instances classified by the machine learning classifier matched the data labeled as ground truth
• Kappa = (observed accuracy - expected accuracy)/(1 - expected accuracy)
• 대략 0.75 이상이면 훌륭하고, 0.4 이상만 되도 우수하다고 볼 수 있다고 함.
• Kappa is an important measure of classifier performance, especially on imbalanced data set.
• it measures how much better the classier is comparing with guessing with the target distribution.
• 데이터 집합이 밸런스가 맞지 않을 경우, 대충 찍어서 맞추어도 성능(정확도)이 좋은 것으로 나오는 상황에 대한 대응을 하는 차원에서의 평가지표로 이용된다고 볼 수 있음.

Case Study

특정 이벤트를 Positive class로 전제할 때, ...

• 서비스 도메인의 특징: (이벤트 신호를 놓치더라도 다시 이벤트 신호를 살펴볼 기회가 있는 상황에서는) 실제 정상 신호를 이벤트라고 판단하는 것(FPR, 거짓긍정률)을 막는 게 양치기 소년 효과를 막기 위해서 더 중요함. 따라서, 현실적으로는 Specificity (참 부정률)이 높아져야 함. 즉, 실제 정상이면 정상이라고 판단해야지, 이벤트로 오판하면 시스템 전체의 신뢰도가 무너질 수 있음.

• 물론, 이론적으로는 실제 이벤트를 이벤트라고 판단(리콜=민감도=참 긍정률)하고, 이베트라고 예측했을 때 이벤트가 정말 맞을 확률(정밀도)가 높은게 이벤트를 잘 맞춘다는 평가치(=F1 기준)가 될 것임.
• 참 긍정률 TPR = Sensitivity(민감도) = Recall(재현율) ; 실제 이벤트를 얼마나 잘 구별했나? (실제의 전체 이벤트 중에서 이벤트가 일어났음을 정확히 판단할 확률)
• 참 부정률 TNR = Specificity(특이도) ; Normal을 얼마나 잘 구별했나? (실제 전체의 정상 신호 중에서 정상이라고 정확히 판단할 확률)
• 예시: 어떤 검사방법의 적합성을 평가하는 방법으로 민감성과 특이성의 개념을 사용할 때,
• 민감성이란 (전체 질병을 가진 사람 중에서, 실제) 질병이 있는 사람을 양성(질병이 있다고)으로 검출하는 능력. 즉 A/(A+B) 
• 특이성이란 (전체 질병이 없는 사람 중에서, 실제) 질병이 없는 사람을 음성(질병이 없다고)으로 검출하는 능력. 즉 Y/(X+Y)
• Kappa ; 우연에 의하지 않은 관찰된 일치율 / 우연에 의하지 않은 최대 일치율 ;  0.8 이상이면 좋다고 함.
• F-Score: Precision과 Recall의 조화평균 = 2*(Precision*Recall)/(Precision+Recall)
• 정확도 Accuracy ; 전체 데이터 중에서 정확히 맞춘 것만 따지기.
• 정밀도 Precision ; 이벤트라고 예측된 것 중에 진짜 이벤트가 들어있을 확률
• Precision과 Recall을 재미있게 설명한 블로그 (2016.06)
• 전체 선물로 받은 것 중에서 정확히 기억한 것의 비율 = recall = sensitivity
• (실제로는 10개를 선물 받았었는데) 무언가 기억해낸 5개 중에서, 3개가 정확할 경우의 recall = 3/10 = 30%
• --> 전체 10개 중에서 몇 개나 기억해냈는가
• 기억해 낸 것 중에서 정확하게 기억해 낸 것의 비율 = precision 
• (실제로는 10개를 선물 받았었는데) 무언가 기억해낸 5개 중에서, 3개가 정확할 경우의 precision = 3/5 = 60%
• 이 때의 5개는 선물 받았다고 추정해 낸 Postive 추정값.
• --> 내가 기억해 낸(예측한) 정밀도가 어떠한가