Active Learning Approach Methods
Active learning 은 새로운 데이터가 수집되었을 때 label data 없이 새로운 데이터를 모델에 반영하는 방법에 대한 연구이다. Continual learning, semi-supervised learning 등과 유사한 개념이라고 볼 수 있다. 새로운 데이터 중 학습에 반영할 만 한 것들을 선택적으로 학습에 반영한다. 2021년 현재 active learning 분야의 주요 논문들에서 언급되고 있는 기술적인 접근 방식은 대략 다음과 같다. Uncertainty sampling 방식 Confidence 가 가장 낮은 데이터 부터 Least confident : TOP 1 probability 가 가장 작은 데이터 부터 학습에 추가 Margin sampling : TOP 1 - TOP 2 값이 가장 작은 데이터 부터 학습에 추가 Entropy sampling : Entropy 가 가장 큰 데이터 부터 학습에 추가 Query by committee 서로 다른 복수개 모델의 disagreement 가 큰 데이터 부터 학습에 추가 Expected model change Model parameter 값을 가장 크게 변경시키는 데이터 부터 학습에 추가 즉, loss gradient 값이 가장 큰 데이터 부터 학습에 추가 Core-set 방식 Unlabeled data 전체를 cover할 수 있는 core-set 을 찾아서 학습에 추가 Ozan Sener and Silvio Savarese. Active learning for convolu tional neural networks: A core-set approach. In International Conference on Learning Representations, 2018. Samarth Sinha, Han Zhang, Anirudh Goyal, Yoshua Bengio, Hugo Larochelle, and Augustus Odena....