Make It Count

두 용어 모두 개념이 비슷함. 다만 서로 다른 연구 분야에서 기인했음.

여기에 한국어 용어까지 더해지면서 헷갈림의 대환장 파티가 벌어짐.

사실상 기억해야 하는건

1. (진단/실제참거짓) 두가지 요인에 의한 4가지 조합(TP/FP/FN/TN) +연구분야에따른 용어 차이.

2. 각자 조합에 해당하는 한국어 용어(ex. 민감도,위양성율,특이도)

3. 조합간의 상관관계(ex. FPR/TPR은 비례한다) -> 아래 그림, 예시로 이해하면 편함.

4. 사용하는 metric들의 정의

1.FAR/FRR

FAR/FRR은 생체인식 부분에서 쓰임

FAR = False Acceptance Rate : 잘못함(우선 답하고 다름) + Acceptance(허용함) -> 허용했는데 잘못함 -> 원래 거절해야하는데 허용함.

FRR = False Rejection Rate : 잘못함(우선 답하고 다름) + Rejection(거절함) -> 거절했는데 잘못함 -> 원래 허용해야하는데 거절

함.

2.False Positive/ False Negative

: IDS(Intrusion Detection System, 침입방지 시스템)에서 기인함.

위 내용과 비슷. 자세히는

False Positive( 알람이 울렸으나 잘못함 -> 공격이 발생하지 않았으나 알람 울림)

False Negative( 알람이 안울렸으나 잘못함 -> 공격이 발생하였으나 알람 안울림)

3. TPR/FPR(민감도,특이도=TAR/FAR)

:위의 네가지 용어(두 분야라 총 8가지)중 TPR/FPR은 대부분의 classification에서 사용하는 metric인 ROC curve를 그리는데 사용한다. TPR/FPR은 서로 비례하는 관계가 있으므로 curve를 그려 성능을 확인한다. 자세한건 6.단락 확인

-TPR : True Positive Rate(민감도)

-FPR : False Positive Rate(1-특이도)

4.Acc/Precision/Recall/F1

~classfier에는 한 metric으로 무조건 좋다 나쁘다를 판단하기 힘들다. 실제 태스크를 보고 중요한 metric을 골라야 한다.

 보통 쓰는 metric에는 Precision/Recall/F1/Acc이 있다. 

 -Acc = (TP+TN)/(TP+TN+FN+FP)  : 전체중에 옳게 판단한 비율  

 -precision =TP/(TP+FP) : 참이라고 판단한것중 실제로도 참인 비율

 -Recall = TP/(TP+FN) : 실제참인것들중 참이라고 판단한비율  

 -F1 = 2*(Precision*Recall)/(Precision + Recall)

       : Precision과 Recall의 balnce를 찾고싶을때 사용 병의 진단같은경우처럼 다수의 True negative의 수가 많고 중요         한 정보가 아니고 FN과 FP에 좀더 중요성을 싣고 싶을때 사용.(uneven class distribution일때)

 -AUC=ROC curve의 밑면적(Area Under a ROC Curve), [0,1]의 범위, 1에 가까울수록 좋음. 아래 그림 참조.

5. 중요한 이슈

생체인식같은경우 -> FAR (다른사람 침입했는데 accept 해줌) ->인증보안 실패

IDS 같은경우 -> False Negative (공격했는데 알람 안울림) -> 공격감지 실패

6. 경향성

1,2번 모두 Threshold 에 대한 문제.

-IDS : 알람에 대한 기준을 높이면 False Positive는 줄어들지만 True Positive도 같이줄어듦 or False Negative도 같이 올라감.  -> 민감도를 낮추면 오경보 횟수도 줄어들지만 실제 적이 침입했을때 경보를 안울릴 확률도 올라감.

-생체인식 : 보안 기준을 높이면 False acceptance는 줄어들지만 True acceptance도 같이 줆어듦 or False rejection도 같이 올라감

             -> 기준을 높이면 다른사람 침입을 잘 막지만 내가 들어가고싶을때도 막을 확률이 올라감.

FAR줄임-> TAR줄어듬 의 경향성이 있으므로 성능을 측정하거나 비교할때는 보통 아래와 같은 두가지 방법 사용.

1) ROC curve를 그림

2) TAR@FAR=1% 같은 조건을 걸고 성능 측정

7. 보충

-완벽한 classifier는 TAR1@ FAR 0 -> ROC curve에서 왼쪽 위 = IDS 사진에서 두 분포가 완전히 분리 되어 두분포 사이에 경계 기준을 세울때. 아래 그림 참조

-ROC AUC=AUROC

-PR_AUC = Precision과 Recall 의 curve에 대한 면적 , ROC AUC와 개념은 비슷하나 상대적으로 ROC_AUC가 robust한 성능평가가 가능한것으로 알려져있다. 하지만 data imbalnce가 심한경우, PR_AUC를 쓰는것이 좋다.    

-micro F1 score= 전체 class에서 한번에 precision, recall을 구해서 f1을 구함 -> Accuracy와 동치.

-macro F1score= class별로 f1구한후 산술평균

보충부분 출처 : newsight.tistory.com/53

틀리거나 궁금한점 있으시면 댓글 남겨주세요!