Show, attend and tell: Neural image caption generation with visual attention (ICML 2015)

  • 논문 제목: Show, attend and tell: Neural image caption generation with visual attention
  • 주 저자: Kelvin Xu (몬트리올 대학)
  • 참여 연구 기관: 몬트리올 대학, 토론토 대학
요즘 들어 주목받고 있는 attention model 에 관한 연구이다. Attention model 은 시계열 분석 모델에서 처음 적용되기 시작했다. 대표적인 논문 중 하나는 Bahdanau 가 기계 번역에 적용한 아래 논문이다. Bahdanau 는 기계 번역을 위해 Bi-LSTM 구조를 채용하고, 현재 시점을 중심으로 일정 time window 에 포함되는 LSTM hidden state 의 가중합으로 출력값을 추정한다. 이 때, hidden state 에 대한 가중치가 attention model 의 추정값이 된다.
최근 들어 attention model 을 computer vision 분야에 적용하는 논문들이 발표되고 있다. 여기서 소개하는 논문은 이미지가 한 장 주어졌을 때, 이미지를 설명하는 문장을 생성하는 image captioning 기술에 관한 것이다. 

Image captioning을 위해서는 이미지 내에 어떠한 'context'가 내재되어 있는지 분석해야 한다. 본 논문에서는 context 분석 시 이미지 내에서 어느 위치를 주목해서 봐야하는지 attention model 을 이용하여 추정하고 있다. 아래 그림에서 본 논문의 전체적인 기술 구조를 도식화하였다.

위 그림에서 보여지듯이, 전체적인 구조는 encoder-decoder 구조를 채택하고 있다.

 CNN (Convolutional Neural Network) 을 이용하여 각 위치별 특징 벡터를 생성하고 (feature vector set), 특징 벡터에 attention model 을 적용하여 LSTM (Long-Short Term Memory) 입력 벡터 z를 생성하며, 최종적으로 LSTM에 기반하여 문장을 형성하는 단어를 순차적으로 출력하는 구조이다. 현재 시점 t 에서의 caption 출력을 위해 '특정 위치'에서 생성된 feature vector 에 가중치를 주는 방식이다. 즉, caption 하나를 생성할 때 마다 특정 위치를 참조하게 만든 구조이다. CNN 출력 feature vector set 의 각 벡터는 이미지 내 특정 위치에서의 정보를 담고있으며,  CNN 구조로는 GoogLeNet, VGG, AlexNet 구조를 채택하였다.

Attention model ⏀는 LSTM이 이전 시점 t-1 에서 출력한 hidden state ht-1를 참조하여, CNN 의 결과물인 각 feature vector 에 부여할 가중치를 추정하고, 최종적으로 feature vector 에 추정된 가중치를 부여하여 현재 시점 t 에서 LSTM 으로 입력될 벡터 zt를 생성한다. 즉, attention model 은 현재 시점의 caption 출력을 위해서 이미지 내에서 어느 위치를 주목해서 봐야하는가를 결정하는 역할을 한다. LSTM 은 벡터 zt 를 입력받고, 현재 시점에 해당하는 caption 추정을 위한 hidden state vector 를 출력한다. Attention model ⏀는 현재 시점 t 에서 feature vector 중 어느 것에 더 가중치를 부여해야 하는지를 추정함으로써, 현재 시점 t 에서의 caption 출력을 위해 이미지 내 어느 위치에 'attention' 해야 하는지를 결정하게 된다.
LSTM의 입력은  최종 출력값 (output caption)과 feature vector를  조합하여 구성하는 multi-modal embedding 구조를 채용하였다. Multi-modal embedding 구조는 (Karpathy, 2015) 제안을 따랐다. Multi-modal embedding 구조는 현재 시점의 출력 caption yt 를 LSTM 에 재입력 함으로써, 이전에 출력한 모든 caption 에 대한 정보를 LSTM 이 저장하여 다음 시점 t+1 에서 출력해야 할 caption 에 대한 정보 추정을 용이하게 한다. 
위 그림에서 Lz, Lh, Lo 및 Embedding E 는 서로 다른 차원의 벡터에 대해 element-wise 연산을 적용하기 위한, 차원 변환 매트릭스라고 볼 수 있다.
LSTM 학습 시, memory 및 hidden state 초기화는 feature vector 평균 값을 이용하여 설정한다. (논문에 finit,c 와 finit,h 에 대한 설명은 기술되어 있지 않다.)

Attention model ⏀는 L개 feature vector 에 부여될 가중치를 결정한다. 가중치는 0 ~ 1 사이의 값을 가지며 모든 가중치의 합이 1이 되는 deterministic soft attention model 과 각 가중치가 0 또는 1의 값을 가지는 stochastic hard attention model 두 가지 형태가 있다. 

[ Stochastic Hard Attention Model ]

Stochastic hard attention 은 가중치가 0 또는 1 이며, 아래 그림 및 수식과 같이 나타낼 수 있다. st,i 는 0 또는 1이며 어느 위치를 지정할 것인가에 대한 location variable 로 볼 수 있다. Alpha value 계산까지는 soft attention 과 동일하나, 최종 가중치가 0 또는 1로 설정되는 과정이 alpha 와 feature vector 가 주어질 때의 multinoulli distribution sampling 인 것만 다르다.



 Stochastic hard attention 학습 방법은 Monte Carlo sampling 방식으로 진행한다. 아래 수식의 variational lower bound on the marginal log-likelihood 손실에 대해 최적화하여 hard attention 'Wh' parameter 를 학습한다. (참고: 아래 수식의 W 에는 아래 첨자 h가 빠져 있다.)

위 수식에서, 모든 경우의 s 에 대해 (즉, 모든 시점 t 마다 선택 가능한 모든 location 조합에 대해) 손실을 최적화하는 것은 현실적으로 어려움이 있다. 따라서, 아래 수식과 같이 각 시점 t에 대해 multinoulli distribution 으로 location sampling 을 적용하고, 이들 sample 조합에 대한 평균으로 log-likelhood를 근사화 하는 방법을 적용하였다 (Monte Carlo sampling).

Monte Carlo sampling 방식의 파라메터 추정은 파라메터 분산을 크게 만들 수 있다. 파라메터 분산을 줄이기 위해 exponential decay averaging log-likelyhood 및 multinoulli distribution entropy term H[s] 를 적용하여 아래와 같은 최종 손실함수를 설정하였다.

위 수식은 "attention choosing a sequence of actions" 에 대한 보상을 최대화하는 것으로써, 강화학습 모델과 동일하다.
[ Deterministic Soft Attention Model ]

Deterministic soft attention model 은 multilayer perceptron Ws, softmax 함수 및 element-wise dot product 로 구성되어 있다. Multilayer perceptron 'Ws' 는 feature vector set 과 LSTM 의 이전 시점 hidden state vector 를 입력받아서 이미지 내 어느 위치에 높은 가중치를 부여할지 결정하는 계수 e 를 출력한다. Softmax 함수는 계수 e 를 입력받아 계수의 dynamic range 를 0 ~ 1, summation 을 1로 만들어 최종 가중치를 생성한다. Dot product 은 가중치를 각 feature vector 에 부여하여 caption 생성을 위한 LSTM 으로 전달한다. Soft attention model 구조를 아래 그림에 나타내었다.






학습을 위해 hard attention 방식에서 사용한 sampling 이 필요없다. z vector 연산을 가중합으로 수행하고, 최종 손실로 부터의 back-propagation 을 통해 직접적인 파라메터 추정이 가능하다. 또한 attention weight 가 'object' 에 보다 집중하게 하기 위해서 hidden state t-1 로 부터 gating scalar beta 를 생성하고, 이를 attention model 에 반영한다.







학습 시, C 개 caption 을 생성할 동안 position i 의 time summation 이 1에 가깝게 되도록 유도 하는 방식으로 (즉, C 개 caption 생성을 위해 모든 position 이 동일한 중요도로 기여할 수 있도록 유도함) regularization 을 적용하는 것이 성능 향상에 중요하다.

최종 손실 함수는 아래와 같이 설정하였다.








[ 학습 ]

  • DB
    • Flickr8k dataset
      • 8,000 images
      • 5 reference sentences per image
      • RMSProp optimizer 적용
    • Flickr30k dataset
      • 30,000 images
      • 5 reference sentences per image
      • RMSProp optimizer 적용
    • MS COCO dataset
      • 82,783 images
      • image 당 5개 이상 sentence 있음 -> 5개 초과분은 무시
      • Adam optimizer 적용
  • Fixed vocabulary size of 10,000
  • CNN 은 ImageNet 데이터셋으로 학습한 VGG 적용 (finetuning 하지 않았음).
  • 14 x 14 x 512 feature vector set -> decoder vector dimension 은 196 x 512 (L x D)
  • 하나의 mini-batch (size 64) 는 동일한 sentence length 를 가지도록 sampling (length 는 무작위 선택) -> 성능에 영향 없으면서 학습 속도 향상
    • MS COCO 데이터셋 학습에 3일 소요 (NVIDIA Titan Black GPU)



[ 실험결과 ]







[ Reference ]


Popular Posts

Multiple object recognition with visual attention (arXiv 2014)

이미지
논문 제목: Multiple object recognition with visual attention 주 저자: Jimmy Lei Ba (토론토 대학) 참여 연구 기관: 토론토 대학, 구글 딥마인드 본 연구는 아래 논문의 후속 연구로써, attention + RNN 구조를 문자열 인식에 적용한 기술이다. 아래 사전 연구 논문에 대한 간단한 리뷰는 여기를 클릭하면 볼 수 있다. 본 연구의 사전 연구 논문 Mnih, V., Heess, N., & Graves, A. (2014). Recurrent models of visual attention. In Advances in neural information processing systems (pp. 2204-2212). [ Network Architecture ] 사전 연구와 유사하게 본 연구는 이미지 내에서  문자 라인을 형성하는 주요 국지 영역들을  순차적으로 찾아내고, 주요 영역에만 국한되는 'local CNN' 을 적용하는 기술이다. 이렇게 함으로써 배경 영역에 대한 분석을 제거하여 불필요한 연산량을 과도하게 소모하지 않고, 주요 영역에 집중하여 분석을 수행할 수 있게 한다. 이러한 처리 과정은 인간이 이미지 내의 객체를 바라볼 때, 배경에 신경쓰지 않고 보고자 하는 객체 영역의 여러 국지적 모양을 훑어보는 것을 모방한 것이다.   본 연구에서 제안하는 기술 구조는 아래 그림과 같다. 아래 그림에서 'context', 'emission', 'glimpse', 'classification' 이 쓰여진 곳에는 각각의 목적에 맞는 neural network 이 위치하고 있다. 위 그림에서 나타나듯이 본 연구에서 제안하는 기술은 context, emission, glimpse, classification 및 recurrent network 으로 구성된다. 사전 연구에서
자세한 내용 보기

Towards Accurate Multi-person Pose Estimation in the Wild (CVPR 2017)

이미지
논문 제목: Towards Accurate Multi-person Pose Estimation in the Wild 연구 기관: 구글 본 연구는 Faster R-CNN 으로 사람 영역의 rectangular bounding box 를 찾고, box 영역 내에서 pose estimation 을 처리하는 2단계 기술 구조를 제안한다 (아래 그림 참조). [ Network Architecture ] Person detection 을 위한 faster R-CNN 은 ResNet101 을 backbone 으로 사용하였다. Person detection 에 의해 검출된 영역은 가로 또는 세로 길이를 변환하여 가로/세로 비율이 일정 비율을 가지도록 하였다  (위 그림 (1) 의 person detection 결과인 붉은 색 box 가 (2) 에서는 세로 방향으로 축소된 모습을 볼 수 있다) . 학습 시의 데이터 증강을 위해 person detection 결과 box 영역을 1.0 ~ 1.5 사이의 scale factor 값을 무작위 선정하여 조금 더 넓은 person box 를 학습 데이터로 추가하였다. 추론 시에는   scale factor 값을 1.25로 고정시켰다. 이와 같은 image cropping 및 re-sizing 을 통해 최종적으로 353 x 257 크기의 이미지를 생성하여 pose estimation module 로 전달한다. 또한, activation feature point 의 이미지 분석 대상 영역을 넓히기 위해서 atrouse convolution 을 적용하였다. Atrouse convolution 은 convolution kernel 의 분석 포인트를 일정 간격을 두고 배치한 kernel 이다. 아래 그림에서 (a) 가 일반적인 convolution kernel 이고, (b) 와 (c) 그림이 각각 convolution point 를 일정 간격을 두고 convolution point 를 배치한 atrou
자세한 내용 보기

Recurrent models of visual attention (NIPS 2014)

이미지
논문 제목: Recurrent models of visual attention. In Advances in neural information processing systems 주 저자:  Volodymyr Mnih (구글 딥마인드) 연구 기관: 구글 딥마인드 일반적으로 CNN (Convolutional Neural Network) 은 이미지 내의 모든 영역에 대해 convolution kernel, pooling, non-linear activation function, normalization 등을 계층적으로 적용하여 최종 feature map 을 생성한 후, 최종 feature map 에 대해 classification, detection, segmentation 등을 적용한다. 이 경우, 분석해야 할 영역 이 외의 나머지 모든 영역들에 대해서도 CNN 을 적용함으로써 과다한 연산량이 소모될 뿐 아니라, 중요한 정보가 있는 영역 외의 정보들이 최종 레이어로 전달되므로 분석에 있어 일종의 'noise' 요인이 될 수 있다. 본 연구는 attention model 을 단문자 인식에 적용한 것으로써, 문자 라인을 형성하는 주요 영역들을 순차적으로 찾아내고, 주요 영역에 국한되는 'local CNN' 을 적용하는 기술이다. 이렇게 함으로써 배경 영역에 대한 분석을 제거하여 불필요한 연산량을 과도하게 소모하지 않고, 주요 영역에 집중하여 분석을 수행할 수 있게 한다. 이러한 처리 과정은 인간이 이미지 내의 객체를 바라볼 때, 배경에 신경쓰지 않고 보고자 하는 객체 영역의 여러 국지적 모양을 훑어보는 것을 모방한 것이다.   기술 구조는 크게 세 가지로 구성된다.  Glimpse Sensor 이전 시점의 location 정보 (l t-1 ) 및 이미지를 입력받아서 그 위치에 해당하는 'local' image patch ⍴(x t , l t-1 ) 생성 (아래 그림의 A) Glimp
자세한 내용 보기

DeepPose: Human pose estimation via deep neural networks (CVPR 2014)

이미지
논문 제목: DeepPose: Human pose estimation via deep neural networks 연구 기관: 구글 2012년 AlexNet 이 CNN (Convolutional Neural Network) 의 가능성을 확인시켜준 뒤, CNN 은 여려 컴퓨터 비전 분야로 확산 적용되었다. 본 연구는 CNN 을 포즈 추정 분야에 적용한 초기 연구이다. CNN 을 이용하여 사람 영역의 사각형 박스 위치를 추정하고, 박스 내에서 각 관절의 위치를 CNN 기반의 regression 방식으로 추정한다. 첫번째 regressor 를 이용하여 관절 위치를 추정한 후, 추정 오차를 보정하는 두 번째 regression network 을 순차적으로 연결하였다 (아마도, single regressor 로는 관절 위치 검출 성능이 충분히 만족스럽지 않았을 것으로 추정된다. 실제 필자의 경우에도, OCR 을 위한 숫자 영역 검출에 single regressor 로 글자 영역 사각형의 point 검출을 시도한 적이 있었는데 성능이 그리 좋지 않았었다). 두 번째 regressor 는 첫 번째 regressor 가 추정한 관절 위치 주변에 대해서만 fine tuning 하도록 제한 하였다. 이런 방식으로 multi-regressor 를 순차적으로 연결시켜 나갈 수 있다. 아래 그림에 본 연구에서 채용한 cascaded regression 구조를 나타내었다. 추정 오차에 대해 독특한 data augmentation 방법을 채용하고 있다. 이전 스테이지 결과로 부터 수집된 오차 데이터를 정규 분포로 모델링한 후, 현재 스테이지에서 가상의 오차값을 정규 분포를 이용하여 무작위 생성하는 방식으로 data augmentation 을 하였다. 본 연구는 CMU (Carnegie Mellon University) 에서 연구한 pose machine 기술과 비슷한 구조를 보인다 (CMU는 직접적인 point regression 을 하지 않고,
자세한 내용 보기

Convolutional pose machines (CVPR 2016)

이미지
논문 제목: Convolutional pose machines 연구 기관: Carnegie Mellon University 본 연구는 아래 선행 연구의 후속 연구로써, 선행 연구의 전체 적인 기술 구조는 유사하게 적용하면서 선행 연구 기술 구조 내의 'hand-crafted' function 을 'neural network' function 으로 대체한 것이다. 이해를 돕기 위해, 본 리뷰를 보기 전에 선행 연구에 대한 간단한 리뷰를 먼저 보기를 권장한다. 선행 연구에 대한 리뷰 글은 여기를 클릭하면 볼 수 있다. 선행 연구 논문 Ramakrishna, V., Munoz, D., Hebert, M., Bagnell, J. A., & Sheikh, Y. (2014, September). Pose machines: Articulated pose estimation via inference machines. In European Conference on Computer Vision (pp. 33-47). Springer, Cham. 용어 정의 Stage 선행 연구와 유사하게 동일한 처리 블럭을 순차적으로 연결한 구조를 뜻한다. Part 추정하고자 하는 사람의 관절 P (p: 1 ~ P) 전체 part 개수 Belief map 이미지 내 각 픽셀이 part 위치일 확률 (입력 이미지 크기와 동일 크기의 map) 각 part 마다 1장 씩 할당 각 ground truth part position 을 정점으로 하는 gaussian 형태의 확률 분포  아래 그림 (a) 에서의 b t  또는 아래 그림 (c) 에서  h'  x  w'  x  (P+1) 선행 연구에서는 'confidence map' 이라고 표현하였음 Image patch 전체 이미지 중 특정 location z 픽셀 주위의 일정 영역 (local image)
자세한 내용 보기

Pose machines: Articulated pose estimation via inference machines (ECCV 2014)

이미지
논문 제목: Pose machines: Articulated pose estimation via inference machines 연구 기관: Carnegie Mellon University 본 연구는 multi-stage classifier 를 이용하여 human pose 를 추정하는 기술에 관한 것이다. 본 연구는 neural network 기반의 기술이 아니라 hand-crafted feature function 을 적용 하였다. 아래 본 연구의 후속 연구에서 유사한 전체 기술 구조에 기반하여 hand-crafted function 을 neural network 로 대체한 기술을 발표하였다. 따라서 본 연구는 기술의 key idea 에 대해 간단히 설명하고, 자세한 내용은 조만간 게재할 후속 연구 리뷰 글에서 기술하기로 한다. 후속 연구 논문 Wei, S. E., Ramakrishna, V., Kanade, T., & Sheikh, Y. (2016). Convolutional pose machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4724-4732). 본 연구에서 제안하는 전체적인 기술 구조는 아래 그림과 같으며, 연구자들은 'Pose Machine' 이라고 명명하였다.  <Pose Machine Architecture> 이해를 돕기 위해, 용어 정의 부터 설명한다. Part 추정하고자 하는 사람의 관절 P (p: 1 ~ P) 전체 part 개수 Confidence map 이미지 내 각 픽셀이 part 위치일 확률 (입력 이미지 크기와 동일 크기의 map) 각 part 마다 1장 씩 할당  (위 그림에서 파란색 그림에 해당) Image patch 전체 이미지 중 특정 location z 픽셀 주위의 일정 영역 (
자세한 내용 보기