Hello Potato World

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Zero-shot learning paper review] Compositional Zero-shot Learning (CZSL) 인간은 이미 알고 있는 개체에 대한 정보들을 조합하고 구성하여 새로운 개체에 일반화하는 능력을 가지고 있다. 다시 말해서, 이미 알고 있는 "whole apple"과 "sliced banana"의 정보를 조합해서 새로운 개체인 "sliced apple" 또는 "whole banana"를 생각해낼 수 있다. 이 능력을 AI 시스템에서 모방하고자 하는 task를 Compositional Zero-shot Learning (CZSL)이라고 한다. CZSL에서는 각각의 개체(composition)을 두 가지의 구성 요소, state와..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Video paper review] Pre-text task 양질의 데이터셋에 전부 라벨링을 하는 것은 비용이 크기 때문에, label이 없이 학습하는 unsupervised learning이 많이 연구되고 있다. 그 중에서도, label이 없는 데이터셋 내에서 학습하고자 하는 문제(Pre-text task)와 label을 대체할 수 있는 target을 직접 정의하여 supervision으로 학습하는 방법을 self-supervised learning이라고 한다. Contrastive learning은 self-supervised learning의 대표적인 방법 중 하나로, input sample들 사이에서 positive pair를 묶은 후에 embed..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Concepts CNN은 Input으로부터 layer가 깊어질주록 high-level의 feature를 추출한다. 낮은 layer에서는 Edge, Comer, Color와 같은 구체적인 정보들(Low-level Features)을 추출하고, 깊은 layer에서는 Object의 일부분이나 전체 Object처럼 사람이 직관적으로 볼 수 있는 정보들(High-level Features)를 추출한다. Image classifier와 같은 많은 시스템에서 high-level feature보다는 low-level feature를 사용하는데, 이 논문에서는 사람이 직관적으로 이해할 수 있는 특징 또는 사용자가 직접 정의한 특징을 Con..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Generalization to CAM 모델을 해석할 때에는 Simplicity와 Interpretability사이의 tradeoff 관계가 있다. 즉, 모델이 간단할수록 해석은 용이해지고 모델이 복잡할수록 해석은 어려워지기 때문에 모델의 accuracy를 잃지 않으면서 해석하기 위해서는 이 둘 사이의 적정점을 찾는것이 중요하다. 지난번 리뷰했던 CAM에서는, CNN모델의 가장 마지막 layer인 FC layer를 Global average pooling으로 대체하여 overfitting을 줄이고 학습되지 않은 task(weakly-supervised object localization)을 수행하여 시각화할 수 있다는 장점..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Interpretable Machine Learning 책에서 소개된 Grad-CAM의 내용이 궁금해져서 찾아보다가, 연관된 Grad-CAM, Grad-CAM++, Guided Grad-CAM 등등의 기반이 되는 CAM(Class Activation Maps)을 다루는 논문을 먼저 리뷰하게 되었다. Global Average Pooling(GAP) vs Global Max Pooling(GMP) 이 논문에서 가장 중요한 개념인 Global Average Pooling을 먼저 보면, 우선 Pooling layer란 CNN 내의 많은 Convolution layer내에 존재하는 filter(parameter)의 개수가 너무 많..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Video Tracking paper review] 최근 MOT에 관심이 생겨서 관련 내용들이나 issue들에 관해 공부해보고자 했는데, MOT연구 동향의 큰 흐름과 중요한 issue들을 잘 보여주고 있어서 매우 유익했던 논문이다. 특히 최근에 딥러닝 분야를 흔들고 있는 Transformer에 흥미가 많았는데 Video Tracking에서도 활용되어 좋은 성능을 보이고 있다는 것을 볼 수 있었어서 더욱 인상깊었던 것 같다. MOTR MOTR은 Transformer기반의 구조로 구성되어 있고, 아래 3가지 concept들을 통해 기존 MOT의 전통적인 framework의 문제점들을 해결하였다. 전체 구조가 end-to-end 로 연결된 framework T..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] 최근에 읽었던 실험 논문 중에서 저자의 체계성과 진행 과정이 가장 눈에 잘 들어와서 정리해서 발표해보았던 논문. 의료데이터에서 GAN(Generative Adversarial Networks)을 사용하여 data augmentation 실험을 진행하였다. GAN Augmentation 최근 몇년간 data augmentation에 GAN을 적용시키려는 시도와 연구가 꽤 이루어지고 있다. GAN에도 이미 워낙 많은 모델들이 나와있기 때문에 다른 논문들에서는 또 여러 모델들이 사용되었지만, 여기서는 Progressive Growing of GANs(PGGAN)을 기반으로 학습하였다. 우선 논문에서 언급한..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Data Augmentation paper review] 현재(2021/03/12 기준) COCO test-dev, COCO minival, PASCAL VOC 2007 등의 벤치마크에서 Best Method를 자리잡고 있는 논문. 기존 연구 방향에서 조금 벗어난 augmentation 방식을 사용해서 Instance Segmentation과 Object Detection의 성능을 끌어올렸다. Simple Copy-Paste 다른 비전 분야와 마찬가지로 Instance Segmentation 분야에서도 정확도를 높이고 안정성을 키우기 위해 Data Augmentation이 계속해서 연구되고 있다. Segmentation에서는 객체의 위치를 나타내는 ann..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Data Augmentation/Object Detection paper review] Classification에서의 Data Augmentation은 많이 다뤄봤지만 Object Detection에서는 구체적으로 어떻게 이뤄지는지 문득 궁금해져서 서칭하다가 읽게 된 논문. 생각만큼 선행연구가 많이 이뤄지진 않은 것 같고 detection 외에도 많은 내용을 공부해야 정확하게 이해할 수 있을 것 같다. Learning Data Augmentation Strategies for Object Detection Data Augmentation(데이터 증강)은 학습 데이터가 부족한 상황이나, 학습 데이터를 늘려서 모델의 성능을 높이고 싶을 때 사용하는 방법이다..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] YOLO9000 이 논문에서는 YOLO의 mAP와 FPS를 개선시킨 YOLOv2와, object categories를 약 9000종류 이상으로 넓게 확장시킨 YOLO9000 모델에 대해 설명하고 있다. 사실 논문 제일 첫부분에서 언급한 주요 아이디어에 대한 내용은 끝부분에 나와있어서 중간에 잠깐 혼란스러웠던 것 같다(?) YOLOv1에서 개선된 부분들을 총 3가지 section으로 나눠 설명하고 있다. Better : mAP 개선 (약 13.4%↑, 416*416input 기준) Faster : FPS 개선 (약 22%↑) Stronger : object categories를 9000개 이상으로 끌어..