[포테이토 논문 리뷰] Learning Data Augmentation Strategies for Object Detection

 

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ 

[Data Augmentation/Object Detection paper review]

 

Classification에서의 Data Augmentation은 많이 다뤄봤지만 Object Detection에서는 구체적으로 어떻게 이뤄지는지 문득 궁금해져서 서칭하다가 읽게 된 논문. 생각만큼 선행연구가 많이 이뤄지진 않은 것 같고 detection 외에도 많은 내용을 공부해야 정확하게 이해할 수 있을 것 같다.

 

 

---

Learning Data Augmentation Strategies for Object Detection

---

 

Data Augmentation(데이터 증강)은 학습 데이터가 부족한 상황이나, 학습 데이터를 늘려서 모델의 성능을 높이고 싶을 때 사용하는 방법이다. 데이터가 부족한 경우 데이터셋의 특징들을 잘 잡아내지 못할 뿐만 아니라 Overfitting, Underfitting에 빠지기 쉽다. 그림에서 보는것과 같이 원본 이미지에 인위적인 noise나 변화를 주어 데이터의 양을 증폭시키는데 회전, 색변환, 잘라내기, 일부 픽셀 변환, 스케일링, 뒤집기, 밝기 변화 등... 여러가지 방법이 있을 수 있다.

[Figure 1: Data Augmentation in Classification]

Classification에서는 이미 Data Augmentation이 필수적이고, 모델의 성능을 높이는데 큰 도움을 준다는 게 많이 입증이 되었지만 Object Detection에서의 Data Augmentation은 아직 온전하게 연구되지 않았다. 논문 내에서 언급된 원인은 두가지 정도가 있는데

1. Object detection에서는 image annotation, bounding box 값 변화를 함께 줘야하는 추가적인 연산이 필요하다.
2. Classification에 사용되는 데어터셋보다 detection을 위한 데이터셋의 example이 더 적다.

[Figure 2: Data Augmentation in Object Detection]

Figure2에서 볼 수 있듯이, Object Detection은 객체의 위치를 bounding box에 기반해서 검출하기 때문에 변환 방법에 따라서 bounding box의 좌표값도 함께 변환해야할 수도 있고, 여러가지 경우를 고려해야 하기 때문에 Classification보다 복잡한 과정을 따른다.

 

논문에서는 Classification에서 사용하던 이미지 변환 방식(operations)를 그대로 빌려오되, detection에 맞게 변환하기 위해 3가지 경우의 operations를 요약했다.

1. Color operations : 이미지의 color값을 변환하되, bounding box의 위치 좌표값에는 변화를 주지 않는다.
   • Equalize, Contrast, Brightness.....등(주로 PIL를 사용한 변환)
2. Geometric operations : 이미지의 위치정보를 바꾸며(객체의 위치에 변화가 생김), bounding box annotation의 위치나, 사이지를 같이 변화시킨다.
   • Rotate, ShearX, TranslationY.....등
3. Bounding box operations : 이미지 내에서 bounding box annotation이 있는 부분의 픽셀만 변화시킨다.
   • BBox_Only_Equalizae, BBox_Only_Rotate, BBox_Only_FlipLR.....등

이 operations는 training 과정에서 사용하며(test중에는 사용하지 않고 기존과 동일하게 유지해야한다.) 하나의 이미지에 대해 순차적으로 여러 개 적용되는데, 어떤 변환을 어떤 순서로 사용할지 Search method를 통해 최적화시킨다.

 

[Figure 3: Search Space]

각각 N개의 순차적인 transformation operands를 갖는 K개의 sub-policy를 학습하고 training 과정에서 각 이미지에 적용될 policy가 랜덤으로 선택된다. Figure3는 K=5, N=2일 때의 Search Space이고, 각각의 operands는 다음 내용에 해당하는 총 3개의 파라미터(predictions)를 가진다.

1. 어떤 image transformation가 선택됐는지
2. transformation이 적용될 확률 M
3. transformation이 적용될 크기 L (ex 몇도 회전?)

이 조건 내에서 좋은 sub-policy를 고르는 확률은 사전 연구에 의해(다른 논문이 부록으로 심어져있는데 추후에 봐야할 것 같다) 다음과 같은 식으로 정의되고, sub-policy가 5일 경우에는 각각의 경우에 대해 계산해줘야 하므로 5제곱배가 된다.

논문에서는 이 확률 중에서 선택하기 위해 PPO(Proximal Policy Optimiation)을 사용하여 각각의 policy를 선정한다.

 

 

 

 

---

Reference

---

[1] Zoph et al, Learning Data Augmentation Strategies for Object Detection, 2019

[2] "Understanding Data Augmentation | What is Data Augmentation & how it works?".greatlearningblog, Aug5,2020