Machine Learning Research

저자 : Khosla, P., Teterwak, P., Wang, C., Sarna, A., Tian, Y., Isola, P., ... & Krishnan, D. 연구기관 : Google, MIT SimCLR (A simple framework for contrastive learning of visual representations, PMLR 2020) 후속 논문이다. SimCLR의 단점을 보완하였다고 볼 수 있다.

  연구 기관: Google Brain, U. of Toronto 저자 :  Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020, November). Contrastive learning 의 기본 개념은 "intra-class feature distance"는 작게, "inter-class distance"는 크게 만드는 것이다. 본 논문은 encoder feature 를 그대로 쓰지 않고, encoder feature 를 조금 더 작은 차원의 projection feature 로 매핑 시킨 후, projection feature 를 대상으로 contrastive loss 를 정의하고 학습시켰다. 저자들은 본 기술을 SimCLR 로 명명하고 있다.

Active learning 은 새로운 데이터가 수집되었을 때 label data 없이 새로운 데이터를 모델에 반영하는 방법에 대한 연구이다. Continual learning, semi-supervised learning 등과 유사한 개념이라고 볼 수 있다. 새로운 데이터 중 학습에 반영할 만 한 것들을 선택적으로 학습에 반영한다. 2021년 현재 active learning 분야의 주요 논문들에서 언급되고 있는 기술적인 접근 방식은 대략 다음과 같다. Uncertainty sampling 방식 Confidence 가 가장 낮은 데이터 부터 Least confident : TOP 1 probability 가 가장 작은 데이터 부터 학습에 추가 Margin sampling : TOP 1 - TOP 2 값이 가장 작은 데이터 부터 학습에 추가 Entropy sampling : Entropy 가 가장 큰 데이터 부터    학습에 추가 Query by committee 서로 다른 복수개 모델의 disagreement 가 큰 데이터 부터 학습에 추가 Expected model change Model parameter 값을 가장 크게 변경시키는 데이터 부터 학습에 추가 즉, loss gradient 값이 가장 큰 데이터 부터 학습에 추가 Core-set 방식 Unlabeled data 전체를 cover할 수 있는 core-set 을 찾아서 학습에 추가 Ozan Sener and Silvio Savarese. Active learning for convolu tional neural networks: A core-set approach. In International Conference on Learning Representations, 2018. Samarth Sinha, Han Zhang, Anirudh Goyal, Yoshua Bengio, Hugo Larochelle, and Augustus Odena....

Neural architecture search with reinforcement learning 주저자: Barret Zoph (Google Brain) the structure and connectivity of a  neural network can be typically specified by a variable-length string. It is therefore possible to use  a recurrent network  – the controller – to generate such string. a simple method of using a recurrent network to  generate convolutional architectures. the recurrent network can be trained with  a policy gradient method to maximize the expected accuracy of the sampled architectures GENERATE MODEL DESCRIPTIONS WITH A CONTROLLER RECURRENT NEURAL NETWORK we use a controller to generate architectural hyperparameters of neural networks. To be flexible, the controller is implemented as a recurrent neural network. Let’s suppose we would like to predict feedforward neural networks with only convolutional layers, we can use the controller to generate their hyperparameters as a sequence of tokens: In our experiments, the ...

 

논문제목: A generic deep-learning-based approach for automated surface inspection 주저자:  Ren, R.; Hung, T.; Tan, K.C. ( National University of Singapore) 본 논문은 이미지를 분석하여 철판, 나무 등의 표면에 이상여부를 검사하는 기술에 관한 것이다. UC Berkeley 의 DeCAF CNN 구조를 backbone 으로 채용하고, feature extraction network 의 파라메터를 DeCAF 로 부터 그대로 복사해 온 후, classifier 및 segmentator 만 재구성하여 전체 기술 구조를 설계하였다. 이렇게 하면 backbone network parameter 를 학습하지 않아도 되므로, 적은 양의 학습 데이터 만으로 전체 네트워크 학습이 가능하다.

논문제목: Automatic metallic surface defect detection and recognition with convolutional neural networks 주저자:  Xian Tao. (Chinese Academy of Sciences )

본 글은 강화학습의 전체적인 개요에 대한 글입니다 (논문 리뷰 아님).

논문제목: Learning Transferable Architectures for Scalable Image Recognition 주저자:  Barret Zoph ( Google Brain) Abstract a method to learn the model architectures  directly on the dataset of interest. we propose to search for  an architectural building block on a small dataset and then  transfer the block to a larger dataset. “NASNet search space” which enables transferability. In our experiments, we search for the best convolutional layer (or “cell”) on the CIFAR-10 dataset and then apply this cell to the ImageNet dataset by stacking together more copies of this cell, each with their own parameters to design a convolutional  architecture, which we name a “NASNet architecture”. We also introduce a new regularization technique called ScheduledDropPath that significantly improves generalization in the NASNet models. Although the cell is not searched for directly on ImageNet, a NASNet constructed from the best cell achieves, among the published works...

본 블로그는 인공지능/기계학습 논문 리뷰, 기술 개요 등에 대한 글을 담고 있습니다. Home:  www.kaier.co.kr Linkedin:  https://www.linkedin.com/in/kyohyuk-lee-80aa41127/ E-mail: kyohyuk.lee@gmail.com

논문제목: Textboxes: A fast text detector with a single deep neural network 주저자:  Liao, M. ( Huazhong University of Science and Technology) 본 연구의 주요 기여는 text detection 에 적합한 anchor box architecture 를 제시했다는 것에 있다. 일반적인 object detection 의 anchor box 는 정사각형 형태를 기준으로 가로, 세로 방향으로 각각 조금씩 더 긴 anchor box set 에 기반하여 이미지 내의 object 와 가장 가까운 anchor box 를 할당하는 구조이다. 그러나, text line 의 경우  가로-세로 비율이  사람, 개, 자동차 등과 같은 일반적인 객체와는 조금 다르다. 즉, text line 은 대체로 가로 방향으로 매우 긴 특징이 있다. 이를 위해서 본 연구에서는 anchor box 를 세로 방향으로는 매우 짧고, 가로 방향으로는 매우 긴 형태의 anchor box set 을 제안하고 있다. 이 경우, 정사각형의 중심 기준으로만 anchor box 를 설정하게 되면, 아래 위로 인접한 두 개의 정사각형 anchor box 접점 위치에서는 가로 방향으로 긴 anchor box 가 설정되지 못한다 (아래 figure 2 참조). 본 연구에서 적용한 CNN 구조에 대한 설명은 아래와 같다. VGG-16, SSD 구조를 이용한 word-based OCR approach Multiple feature map 을 활용하는 text-box layer 추가 (아래 그림 참조) Fully convolutional network (only convolutional and pooling layers) Text-box layer -> classification score와 box offset 동시 추정 학습 시 SSD 와...

논문 제목: EAST: An Efficient and Accurate Scene Text Detector 연구 기관: Megvii Word box detection 의 정확성을 높이는 기술에 촛점을 맞춘 연구 논문이다 (인식 기술 자체는 본 논문의 연구 대상이 아니다). 저자는 지금까지의 word box detection 은 많은 프로세스 단계를 거쳐야 하므로, error propagation 문제가 있음을 지적하고 있다 (아래 그림에서 다른 기술들과 본 기술의 프로세스 구조를 비교하고 있다). 본 연구에서는 3 단계 프로세스 만으로 가장 우수한 multi-oriented word box detection 성능을 확보하였다고 주장하고 있다 (아래 그림 (e) 가 저자가 제안하는 기술 구조이다). Multi-oriented word box detection 은 문자열이 가로 방향이 아닌, 임의 방향으로 존재하여도 문제없이 검출하는 것을 의미한다 (가로 방향만 검출하는 것은 horizontal box detection 이다). [ Data Annotation ] Word 를 둘러싸는 임의 형태 사각형의 꼭지점 (직사각형 아님, 아래 그림 (a), 노란색 점선은 word 크기에 딱 맞는 사각형이며, 녹색 실선은 margin 을 두어 크기를 줄인 사각형), 임의 형태 사각형의 안쪽 영역을 나타내는 text score map (일종의 heat map, 아래 그림 (b)), 임의 형태 사각형을 둘러싸는 가장 작은 크기의 직사각형 (아래 그림 (c) 의 분홍색 선), heat map 영역 내의 각 포인트에서 직사각형 4변 까지의 거리 (아래 그림 (d)), 직사각형이 기울어진 각도 (아래 그림 (e)) 를 ground truth annotation 정보로 만들고 이를 추정한다. 임의 형태 사각형 정보는 word 크기에 딱 맞는 사각형 (아래 그림 (a) 노란색 점선) 및 margin 을 두고 축소시킨 사각형 (아래 그림 (a) 초록색 실선) 정보...