[Jane Street] Overfitting 막기위한 기법들

1.Feature neutralization

: Feature 마다 strong 하게 contriubute 하는 것이 있고 weak한 것이 있는데. 이렇게 학습할 경우, 코로나 같이 training data에 없는 주가에 영향을 주는 특정 상황이 발생할경우 future unseen data중 strong한 feature가 useless 되는 상황이 올 수 있음.  그러므로 featrue vector중 exposure높은 vector들을 낮추자는 아이디어

 

2.Reugularization으로 loss에 Norm term 추가

 

3. model 안에서 수치 변경

~dropout rate 높이기 , action threshold높이기, batch size 조절

 

4. 앙상블

 

5. bottleneck encoder

 

6. softmax대신 magin 있는 모델? 너무 다 0.5 근처에서 놀고있어서 threshold 0.001만 바꿔도 수치가 확 바뀜.

 

7. feature engineering

~feature 41+42+43  

  featre1 / feature2  같이 의미를 찾아낸다.