Make It Count

2021/07/27 추가

 detector(pretrained된 retinaface ) 이용해서 loose crop을 만들고 meta 데이터 만들고 하였으나
469375개의 이미지 중 detector에서 못잡는 이미지 533개, conviction score 0.9이하인 이미지가 16155로 잘 잡지못함.

심지어 메타데이터에서 바운딩박스 좌표로 도움을 주었는데도... 당연한 결과로 1:1 verification에서 TAR@FAR=10^-4이 92를 넘지 못하여 찾아보던 중 loose crop 이미지를 배포하는 링크가 한달전에 생김...

ijb-c를 사용하고싶으신분은 NIST에 Request form 작성한 후 아래사이트에서 다운받아 사용하면 될듯...
단점은 baidu link만 남아있어서 baidu 아이디가 필요

https://github.com/deepinsight/insightface/tree/master/recognition/_evaluation_/ijb

동기

얼굴인식 연구를 하면서 벤치마크를 구성하는데 생긴 ISSUE 사항들과, 고민하여 얻은 해결책을 공유하고자 적습니다.

보통 LFW 계열 벤치마크(CALFW, AgeDB, CFP 등)은 Train 코드상에 구현되어있어 따라하기 쉬운데 IJB-C는 코드상에서 meta data를 만들어서 사용하기도하고 데이터셋 자체가 template, media등 처음보는 용어들이 많아서 따라하기 어렵더라구요. 

ArcFace 논문 저자인 InsightFace의 github 페이지에도 저와 같은 문제로 고민하시는 분들이 많은것 같아 ISSUE 사항에 적긴 했는데  생각보다 공감도 많이 받는것 같아서(따봉5개를 받았...) 블로그 글에도 공유합니다.

이슈 링크 : 

https://github.com/deepinsight/insightface/issues/556

사용법

1. NIST에게 데이터셋 요청을 한 후 권한을 받는다.

https://www.nist.gov/itl/iad/ig/ijb-c-dataset-request-form

위 사이트에 접속한후 회원가입 하고 리퀘스트를 보낸후 데이터셋과 메타데이터를 받는다.

참고로 IJB-A에 추가해서 업데이트 한게 IJB-B, 또 추가한게 IJB-C 이므로 IJB-C만 사용 하면 된다.

2. Dataset 내부에 있는 Meta데이터를 살펴본다.

Dataset 내부에 img, frame 말고도 많은 종류의 meta데이터가 있는데 확인해보면

사용하는 용어가 tid, mid, sid가 있다는것을 알 수있다.

template 이라는 용어가 헷갈릴 수 있는데 그냥 IJB는 template 기반 벤치마크로써 verification 하는 match를 tid로 나타내는 구나 라고 생각하면 된다. 각각의 의미는 다음과 같다.

- tid( template id) : match나 gallery, probe등 list를 구성하는데 쓰이는 id

              ex. A의 B에서 찍힌 사진과 C의 D에서 찍힌사진을 비교해라 라고 하지 않고  -> tid 3과 tid 5 를 비교해라로                    나타냄. tid3 과 tid5 가 무엇인지는 mapping하는 다른 meta데이터를 통해 접근 가능하다. 

- mid(media id) : 사진(img/frame)을 어떤 소스에서 얻었는지에 대한 정보. ->sighting id와 동의어 이다.

- sid(subject id) : identification에서 클래스에 해당. 신원(identity)라고 생각하면 된다. 

* 같은 sid에 여러 tid가 있을 수 있고 같은 tid에 여러 mid가 있을 수 있다.

용어정리는 이정도로 하고 다시 사용하는 meta데이터로 돌아오면, 

IJB-C 1:1 evaluation에 사용하는 파일은 다음과 같다.

- 'test1/enroll_templates.csv' =enroll file의 t

- 'test1/verif_templates.csv'

- 'test1/match.csv','ijbc_metadata_with_age.csv' 

또 IJB-C 1:N evaluation에 사용하는 파일은 다음과 같다.(정확한 파일명은 수정예정)

- /gallery  G1.csv

- /gallery  G2.csv

- /Probe_mixed.csv

3. IJB-C evaluation 에서 사용하는 Meta data + loose crop을 만들어 준다.

Insight Face에서 제공하는 IJB-C evaluation code는 크게 세가지 이다.

- evaluation/IJB/IJB_11 : match에 해당하는 모든 1:1 verification을 수행한 후 roc curve 그려주는 코드

- evaluation/IJB/IJB_1N : gallery와 probe feature 생성 후 top1, top n accurcy와 PAR@FAR을  생성해줌. 

- evaluation/IJB/IJB_evals : third party가 짠 코드로 11과 1N 을 할건지 옵션으로 선택 가능, verbose있어 진행과정 확인                                   하기 편리하고 본인피셜 속도가 빠르다 함. 

나는 IJB_evals이 과정상 11을 무조건 수행하기에 1N 부분을 수정해서 사용하였다.

이제 11을 예시로 들어,

코드를 보면 'tid_mid.txt', 'loose_crop', '5pts score.txt' 가 필요하다.

간단히 설명하면

- 'tid_mid.txt' 는 접근할 수 있도록 파일명과 tid, mid를 연결해주는 메타파일

-  'loose_crop'은 dataset의 subset으로 tid_mid의 파일명과 똑같이 구성해 주어야한다. 이름이 loose_crop인 이유는 사용자가 이미지에서 얼굴 부분을 loosely crop해서 구성해서 그렇다 한다. 실제로 model에 넣어주기 위한 전처리(align, crop)은 코드내에서 image를 가져올때 수행한다.

- '5pts score.txt'는 loose_crop 한 이미지에서 detection 알고리즘으로 랜드마크를 추출하여 그 좌표들과 그에따른 confidence score를 파일명과 함께 순서대로 적어놓은 메타데이터 파일이다.

여기서 insight face에서 사용하는 'tid_mid.txt'와'5pts score.txt'는 아래 사이트에서 받을 수 있다.

(https://github.com/deepinsight/insightface/tree/master/evaluation/IJB)

하지만, 결국 loose crop이 없어 랜드마크 5pts가 이미지를 어떻게 구성하느냐에 좌표값이 달라지므로 본인이 detector를 사용하여 추출하여야 한다.

디텍터로 랜드마크 추출로 retina Face와 MTCNN을 보통 사용 하는데 아래 코드를 참고하면 편하다.

(https://github.com/urbaneman/Face_crop_align_mtcnn)

본인의 경우 MTCNN코드에서 모델을 RetinaFace로 바꾸어 추출하였다.

loose crop의 경우 어떻게 loose하게 할지는 본인의 맘이고 참고할 수 있는 얼굴 바운딩 박스는 레이블링 데이터 ('ijbc_metadata_with_age.csv')를 사용하면 된다. 결과적으로 IJB_11코드에서 align + crop해서 사용하므로  얼굴 Detection이 잘 되어 5landmarks가 잘 뽑힐 정도로 만 crop하면 같은 결과물이 나올것 이다.

4. IJB11, IJB1N, IJB_eval을 사용준비 끝!

이렇게 연구하고 코드를 만지는 것은 처음이라 저만 어렵게 느껴지는 것일지도 모르지만, 혹시나 저처럼 해매시는 다른 분이 이글을 읽고 도움이 되었으면 하여 올려봅니다. 

+If There is person who only uses English and want to know using IJB-C Data set, Plz leave a comment.

Then I will make English Translation version for you :)

E개요

IJB-C Identification code 를 돌려 결과를 확인하는 중 probe, gallery에 대한 개념과 성능 분석에 어려움이 있어 빨리 읽은 논문. 2017 CVPR Biometric 부분.

항목별 요약

알게된 점을 항목별로 요약하자면 다음과 같고, 용어나 개념에 대한 자세한 설명은 다음 꼭지에서 다룸.

(Gallery)

- Gallery는 training data중  인식하고자 하는 인물의 사진들(혹은 임베딩된 feature들)을 담은 집합이다.

- Enrollment는 Gallery를 설정하고 학습하는 과정

(위 사진에서 Training 중 초록색이 Gallery 부분)

(Probe)

- Probes는 Identification task를 수행하길 원하는 data

- querying은 probe로 identifcation 하는 과정.

(Open Set)

- IJB같은 경우 1:N Identifcation은 closed-set evaluation.

- Gallery에 없는 예외 데이터 처리를 위해선 Open set 에서 rejection/ignore 하는 방법이 필요함

- rejection 방법으로 본 논문에선 세가지 방법을 제시

    1. verification Threshold

    2. linear discriminant analysis(LDA)

    3. extreme value machine(EVM)probability

- 결과적으로, 1은 closed set은 좋지만 open set에선 안좋았다

- 2는K( known unknown)에선 좋지만 U(unknown unknown)에선 안좋았다.

- 3은 K,U 둘다 에서 좋았다. 

(성능 비교 포맷)

~보통 verification(선택지가 0/1)의 경우 roc curve를 그리는데 identifcation(선택지가 #class,N개)은 성능평가를 어떻게 해야하나 궁금. 본 논문에선 3가지 방법 활용.

    1. Cumulative match Characteristics(CMC)  curves

    2. Receiver Operating Charcateristics(ROC) curves

    3. Detection and Identification rate (DIR) curves 

            ----> 일반적으로 쓰는 curve는 아닌것같고 Face Recognition handbook에서 나왔다고함.

상세, 추가 조사

1. LDA

: 데이터 분포를 학습해 class내 분산은 작게 하면서 class간data들의 평균점을 멀게하는 결정경계(직선)을 찾는 모델

-출처 :

https://velog.io/@guns/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%8A%A4%ED%84%B0%EB%94%94-4%EC%9D%BC%EC%B0%A8-LDA-Linear-Discriminant-Analysis

2. EVM

Extreme value theory를 이용하여  point별로 distribution추출 후 해당 클래스의 속하는지 확률 구함. 

-출처 : 

https://www.researchgate.net/publication/278969514_The_Extreme_Value_Machine

3. CMC curve

CMC(Cumulative Match Characteristic) 곡선 시험이란,「Top N 순위 안에서 인식이 되는가?」를 판정하는 식별 시나리오에서 성능을 분석하는 가장 대표적인 시험방법이다. 이 CMC 곡선은 순위에 대한 함수로서, x축에 순위를 나타내고, y축에는 누적된 인식률을 나타내는 것에 의해, n번째 순위까지의 프로브에 대한 인식률을 확인할 수 있다. 

-출처 :

https://patents.google.com/patent/KR20060068796A/ko

4. ROC curve

정리가 아주 잘되어 있어 출처로 대신함.

x축 : False Positive Rate

y축 : True Positive Rate

-출처 : 

https://angeloyeo.github.io/2020/08/05/ROC.html

5. DIR curve

Face Recognition 분야에서만 쓰이는 그래프로 보임.

이름에 Detection이 들어가 있지만 본 논문에서 detectionn은 된다고 가정하므로

y축: Identifcation rate

x축: False Alarm Rate(False Positive Rate)

즉  CMC의 x축을 rank가 아닌 FPR로 대체한 그래프 

출처

https://ieeexplore.ieee.org/document/6365193?source=post_page--------------------------- 

ArcFace및 이후의 논문들은 ArcFace 의 margin code를 사용하면서 다들 비슷한 형태를 취하고 있다.

다른 부분들은 논문에 작성되어 있어서 이해하기 어렵지 않으나, easy margin 부분은 헷갈린다.

InsightFace코드에서 항상easymargin= False로 놓고 사용하므로 False 식에 대해서만 설명하겠다. 식은 다음과 같다.

보면 1) cos(theta)>cos(pi-margin)일때 phi (phi는 naive하게 cos(theta+margin)한 식을 의미한다.),

      2) cos(theta)<=cos(pi-margin)일때 cos(theta)-margin * sin(pi-margin) 로 phi를 적용한다.

알아갈 것들

1. 우선 위처럼 복잡하게 적은 이유는 theta+margin이 (0,pi) 범위에 있지 않아 cos을 단조감소 함수로써 이용할 수 없게됨을 방지하기 위함이다.

2. 또다른 이유로는 theta자체를 이용한 식을 사용하지 못함에 있다.  논문 이론과 같이 arcsin, arccos를 사용하여 theta에대한 조건식을 사용하게되면 computation이 급격히 늘어나므로, 코드에서는 모든 조건들을cos, sin에 대한 식으로 나타낸다.

ex1) theta> m  -->  cos(theta)<cos(m)  when theta, m 이 (0,pi)에 있을때.

ex2) cos(theta+m)= cos(theta)*cos(m)-sin(theta)*sin(m)

3. cos(theta)>cos(pi-margin) 이라는 조건부터 살펴보면, theta , pi-margin 모두 (0,pi)사이의 값이므로 2번설명의 ex1과 같다.

4.self.mm의 의미 :

갑자기 생뚱맞게 mm=margin*sin(pi-margin)이 나와 당황 했는데, 이것도 theta+margin 이 pi범위를 넘어서는 문제를 해결하기 위해 나온식이다.

당신이 이 논문 저자라고 생각하고 만약 theta+margin이 pi를 넘는다면 이 값을 대체할 수 있는 방법이 세가지 있다.

첫째로, 'pi를 넘어서는 값들은 pi로 고정시킨다' 즉 theta+margin이 pi를 넘는값에 한해 cos(theta+margin)=-1로 고정시키는 방법이다.

다른 두개는 이 논문에서 사용한 방법으로 1st order Taylor Extension을 이용해서 cos(theta)에서 넘는 값을 선형으로 근사 시키는것이다. 즉 cos(theta+margin)=cos(theta)-sin(theta)*m >=cos(theta)-sin(pi-m)*m  으로 나타낼 수 있다.

여기서

cos(theta+margin)=cos(theta)-sin(theta)*m 는 두번째 방법

cos(theta+margin)>=cos(theta)-sin(pi-m)*m 를 세번째 방법이라 지칭 하겠다.

식은 복잡하지만 다음 그림을 보면 한번에 이해가 갈 것이다.

이중 ArcFace는 방법 3를 사용하고 있다. m=0.5의 값을 사용하므로 pi-m은 항상 (pi/2,pi)안에 있고 theta>pi-m이므로 방법3로 그리는게 방법2보다 항상 가파른 기울기로 근사하여 잘 못 맞추는 sample(theta ~=pi)에대해 loss를 더 크게 부여하게 된다.

출처 : github.com/ronghuaiyang/arcface-pytorch/issues/48

개요

2019년 작성, 2020AAAI 발표한 논문으로 Face Recognition 성능향상 논문 트렌드중

Margin based Softmax loss (Arc, Sphere, AM, etc.)  과

Mining based Softmax loss(Focal loss, OHEM etc.)

를 한 Loss에 합친 형태를 가지는 최초의 논문이다. (논문 주장).

SV-X-Softmax와 MV-Softmax의 차이

읽어 보았을때, SV-Softmax(2018) 논문은 MV-Softmax(2019)논문의 arxiv preprint 버전으로 다른점은 다음 네가지정도 로 보이고 intuition과 사용된 equation 은 같으므로 다음 단락부터는 SV-Softmax에 대해서만 설명하겠다. (정확히는 SV-Softmax 논문중 margin 을 첨가한 SV-X-Softmax 와 MV-Softmax의 차이.)

1. h(indicator function)에 fixed 버전을 넣은 실험진행.

SV-Softmax :  h에 adaptive version (cos(theta)가 다른 정도에 따라 weight 조정)이 기본.

MV-Softmax : h의 adaptive version + h fixed version( hard sample 로 분류되면 얼마나 어려운지 ( cos(theta)값이 얼마인지 상관없이) 같은 weight 적용)과 비교하는 실험 추가.

2. Training data set의 차이.

MS1M-vlc : Trillion-pairs consortium(deepglint2018)에서 MS1M의 noisy 한 데이터를 cleaning한 버전.

                (3,923,399 imgs /86,876 ids)

MS1M-vlc-R : MS1M-vlc 에서 Test data set(LFW,CALFW,CPLFW,AgeDB,CFP,RFW, MegaFace)와 overlap되는 id 제거버전, 겹치는 id list는 github 에 제공.

                  (3,280,000 imgs/ 72690)

(github.com/xiaoboCASIA/SV-X-Softmax/blob/master/deepglint_unoverlap_list.txt)       

MS1M  ->  MS1M-vlc   ->  MS1M-vlc-R

               (SV-Softmax)    (MV-Softmax)

3. Test data set의 차이

SV-Softmax : Mega Face ,Trillion Pairs(gallery = subset of Flickr photos, Probe set= Facescrub)

MV-Softmax : Verification(LFW, CALFW, CPLFW, CFP, RFW), Identification(MegaFace, Trillion-Pairs)

4.Indicator function 내 t 범위 차이.

위부터 각각 t=1,t=0일때 기존 softmax.

Motivation

Face Recognition 분야 는 크게 두가지 mining based(Focal loss, OHEM etc.)와 margin based(Arc, Sphere, AM, etc.)로 발전하였는데 각자의 단점이 있다.

Mining based loss는 

1. hard example의 정의가 애매.

2. loss나 model complexity로 hardness를 empirically 측정해야한다.

Margin based loss 는

1.GT class vector 와 비교에서만 discriminatve feature를 배운다(self-motivation=GT class). 다른 class vector와의 비교(other-motivation=Non-GT class = Negative Cosine Similarity)로 얻는 discriminative power를 얻을 수 없다.

2. class마다 fixed된 weight을 사용한다.(MV-Softmax추가)

-> 두 가지 방법의 장점을 하나로 integrate 하는 loss function 제안 ->MV-Sofmax

MV-Softmax-Loss

~아이디어의 flow대로 식을 정렬하자면.

1.Softmax Loss

2. Mining based Softmax Loss

Py, probability는 softmax layer를 지난 output을 의미하며, g function을 통해서 sample mining효과 구현.

ex1) OHEM : g(Py)=0 for easy sample, g(Py)=1 for hard sample.

ex2)Focal loss: g(Py)=(1-Py)^gamma

3. Margin based Softmax Loss

~f function을 통해 margin을 구현.

ex)

4.Naive Mining-Margin Softmax Loss

~Naive하게 Mining과 margin을 합친버젼. 이렇게 구현할시 Margin based와 Mining based의 각각의 단점이 여전히 남아있다.

단점

1. GT와의 마진만 고려(Non-GT고려 x)

2. Hard sample 정의에 대한 애매함.

5. SV-SoftMax Loss

where,

~Binary mask function, I() 와 Indicator function, h()를 Softmax에 추가함으로써 Naive Mining-Margin Softmax loss의 단점 해결. 

Intuition

1.Binary mask function, I에 대한 고찰.

cos(wy,x)=정답 클래스와의 각도.

cos(wk,x)=정답이 아닌 클래스와의 각도. ( when k!=y).

즉, cos은 phi 까지 감소함수 이므로,

cos(wy,x)>cos(wk,x)인 상황   

= 샘플과 정답간의 각도가 샘플과 오답간의 각도보다 작은 상황

= 샘플이 오답보다 정답에 가까운상황 

-> 잘 분류하고 있으므로 loss에 weight 높이지 않음 -> 기존 cos 사용.

반대로,

cos(wy,x)<cos(wk,x)인 상황 

= 샘플과 정답간의 각도가 샘플과 오답간의 각도보다 큰 상황

= 샘플이 정답보다 오답에 가까운상황 

-> 잘못 분류하고있으므로 어려운 sample이라 인지, loss에 weight 높임 -> 기존cos에 h 곱함.

2.Mining based Loss (Focal Loss) 와 SV-Softmax의 차이점

~기존 Mining based loss와 SV Softmax 둘다 loss를 고쳐서 위 식의 관계를 만들어 Easy sample 대비 Hard sample의 loss를 늘리려 한건 같으나. 위 관계를 구현하기 위해 취한 방법이 다르다. 아래 사진을 보자

~SV-Softmax(왼쪽)은 전체 Loss식(Cross Entropy, 위 figure에서는 -log(Py) 에서 probability 값을 조정함으로써 loss를 높였고, Focal Loss-Softmax(오른쪽)은 probability는 그대로 두고 Loss식 자체를 바꿈으로써 Hard sample의 loss 비중을 높였다.

3. Margin Based Loss 와 SV-Softmax의 차이점

~위 식을 보면서 명심해야할것은 theta 1은 ground truth class 이고, thetat 2는 non ground truth class이다.

또한, 기존 Margin based Softmax 의 f, margin function은 theta1에 대한 함수이고(self-motivated), SV-Softmax식에서 h, indator function은 theta2에 대한 함수이다. 등호가 어디 있는지는 그렇게 중요하지 않지만, 집중하는 weight vector에 따라 서술한것으로 추정된다(GT,Non-GT).

다 정리해서 한문장으로 설명하면  Margin based Softmax는 정답에 가깝게 학습, SV-Softmax는 오답에 멀게끔 학습 으로 이해하면 편하다.(실제로 최종 loss를 보고 loss를 줄이는 방법으로 파라미터를 따라가다보면 그렇다. 이에 대한 설명은 4번 단락에서 그림과 함께 설명하겠다.)

4.총모델에서 직관이 사용되는 위치 (+ Margin only,Mining only와의 비교)

~SV softmax는 위 그림에서 빨간 박스에 해당하는데, 해당위치에서 loss를 바꿈으로써 원래 Margin-based(파랑), Mining-based(보라)가 하는 역할을 one framework로 합쳤다. 

구체적으로 파랑과의 비교를 보면, 우선 많은 cos(theta)중 바뀌는 부분에 차이가있는데, 파랑은 GT class의 값을 바꾸고 빨강은(Non-GT class의 값을 바꾼다). 이때 모든 Non-GT class의 값을 바꾸지 않는것은, Loss 식에서 Binary mask에 의해, 모델이 정답이 아닌 클래스 더라도 Support Vector(Hard Sample)로 분류될만큼 오답에 가깝게 분류하지 않았기 ㄸ매문이다.(k!=y 이나, I=0인경우. 즉, cos(wy,x)>cos(wk,x)인 상황)

보라와의 비교를 보면, 빨강은 Loss 식 안의 probability라고 명시되는 Logit의 Softmax를 거친후의 output을 바꾸는 반면, 보라는 마지막단에서 계산되는 Loss 자체를 바꾼다. 

5.SV-X-Softmax(MV-Softmax)

지금까지 위에서 설명한 SV-Softmax에 margin function, f를 추가한 Loss. 

즉, 원래 SV-Softmax에서 오답에 집중(loss 식에서 sigma 부분) 함으로써 Mining based와 Margin based를 구현했다면,마진, f function을 추가함으로써 정답에 가까워 지게끔 하는 효과 구현.

i.e. 정답 class에는 가깝게 오답 class에는 멀게끔을 한 loss 에 구현.

이 loss가 MV-Softmax논문의 loss로 사용된다.

6.Optimization

SGD를 위해서 직접 partial derivative를 구해봤는데, 기존 softmax에서 x-term(weight에 대한 미분시), w-term(x에대한 미분시)가 생기는것을 제외하고는 똑같다. -> 학습 가능하다.

최종 알고리즘

본 Loss는 CNN 통해 나오는 feature map을 다시 head(softmax부분)를 거쳐서 학습하므로.

위 알고리즘 식에서 Theta는 CNN 안에 weight를 의미하고

W는 head부분의 weight을 의미한다.

논문 출처:

1. Xiabo Wang et al. Mis-classified Vector Guided Softmax Loss for Face Recognition(MV-Softmax), 2020 AAAI

arxiv.org/pdf/1912.00833.pdf

2. Xiabo Wang et al. Support Vector Guided Softmax  Loss for Face Recognition(SV-Softmax), 2018, arxiv preprint

arxiv.org/abs/1812.11317