Hello Potato World

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 6.3 Prototypes and Criticisms Prototypes이란, 모든 데이터를 대표하는 data instance Criticisms란, Prototypes의 세트로 잘 표현되지 않는 data instance Prototypes와 Critisms은 Data를 설명하기 위해서도 사용되지만, Interpretable model을 만들거나 Black box 모델을 Interpretable하게 만들 때 사용될 수 있다. - Simulated Data Distribution Prototypes과 criticisms는 항상 데이터 내의 instances중 하나로 선택된다. (아..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.7 Local Surrogate (LIME) Local Surrogate Model이란? Black box 모델의 개별 예측을 설명하는데 사용하는 해석 가능한 모델 - Local Interpretable Model-agnostic Explanations(LIME): 지역 대리 모델 제안 Global Surrogate 모델처럼 전체 Dataset을 사용하여 근사하는 것이 아니라, Black box 모델이 주어져서 Data Point을 원하는 만큼 입력하여 개별 예측을 얻어낼 수 있을 때, 그 Prediction들을 이해하는 것 - for prediction 변형된 sample들..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.6 Global Surrogate Global Surrogate Model이란? Black box model의 예측에 근사하도록 학습된 interpretable model 아래와 같은 다양한 이름으로도 통한다 Surrogate(대체) Model = Approximation model = metamodel = response surgace model = emulator = ... Blackbox 모델, Surrogate 모델 둘 다 Machine Learning model Blackbox 모델의 예측에 최대한 근사 Surrogate 모델은 해석가능하여야 함 5.6.1 Theor..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.5 Permutation Feature Importance 특성 값을 섞은 후에 모델의 prediction error를 측정하여 구하는 방식 Important Feature feature의 값들을 섞었을 때 모델의 prediction error가 증가하는 경우 모델의 prediction이 특성에 의존적 Unimportant Feature feature의 값들을 섞었을 때 모델의 prediction error가 변하지 않는 경우 모델의 prediction이 특성에 무관 Algorithm The Permutation feature importance algorithm based ..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.4 Feature Interaction prediction model 내에서 feature들이 상호작용하는 경우 각각의 feature effect의 합만으로는 예측을 표현할 수 없다. Linear Regression에서의 예시를 들어 확인해보자. 1. 두 개의 feature를 사용하는 linear regression 모델에서 feature interaction이 존재하지 않는 경우 X_1=1, X_2=1일 때의 data를 제외한 나머지 3개의 data를 사용하여 위와 같은 Linear Regression Function의 regression coefficient를 구해보면(e..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] 최근에 읽었던 실험 논문 중에서 저자의 체계성과 진행 과정이 가장 눈에 잘 들어와서 정리해서 발표해보았던 논문. 의료데이터에서 GAN(Generative Adversarial Networks)을 사용하여 data augmentation 실험을 진행하였다. GAN Augmentation 최근 몇년간 data augmentation에 GAN을 적용시키려는 시도와 연구가 꽤 이루어지고 있다. GAN에도 이미 워낙 많은 모델들이 나와있기 때문에 다른 논문들에서는 또 여러 모델들이 사용되었지만, 여기서는 Progressive Growing of GANs(PGGAN)을 기반으로 학습하였다. 우선 논문에서 언급한..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Data Augmentation paper review] 현재(2021/03/12 기준) COCO test-dev, COCO minival, PASCAL VOC 2007 등의 벤치마크에서 Best Method를 자리잡고 있는 논문. 기존 연구 방향에서 조금 벗어난 augmentation 방식을 사용해서 Instance Segmentation과 Object Detection의 성능을 끌어올렸다. Simple Copy-Paste 다른 비전 분야와 마찬가지로 Instance Segmentation 분야에서도 정확도를 높이고 안정성을 키우기 위해 Data Augmentation이 계속해서 연구되고 있다. Segmentation에서는 객체의 위치를 나타내는 ann..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Data Augmentation/Object Detection paper review] Classification에서의 Data Augmentation은 많이 다뤄봤지만 Object Detection에서는 구체적으로 어떻게 이뤄지는지 문득 궁금해져서 서칭하다가 읽게 된 논문. 생각만큼 선행연구가 많이 이뤄지진 않은 것 같고 detection 외에도 많은 내용을 공부해야 정확하게 이해할 수 있을 것 같다. Learning Data Augmentation Strategies for Object Detection Data Augmentation(데이터 증강)은 학습 데이터가 부족한 상황이나, 학습 데이터를 늘려서 모델의 성능을 높이고 싶을 때 사용하는 방법이다..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] YOLO9000 이 논문에서는 YOLO의 mAP와 FPS를 개선시킨 YOLOv2와, object categories를 약 9000종류 이상으로 넓게 확장시킨 YOLO9000 모델에 대해 설명하고 있다. 사실 논문 제일 첫부분에서 언급한 주요 아이디어에 대한 내용은 끝부분에 나와있어서 중간에 잠깐 혼란스러웠던 것 같다(?) YOLOv1에서 개선된 부분들을 총 3가지 section으로 나눠 설명하고 있다. Better : mAP 개선 (약 13.4%↑, 416*416input 기준) Faster : FPS 개선 (약 22%↑) Stronger : object categories를 9000개 이상으로 끌어..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] 일단 오늘 읽은 paper부터 남기지만 이전에 읽은 paper들, 머신러닝 및 CNN도 기본부터 다시 봐보자는 마음으로 전부 정리할 예정 R-FCN R-FCN(Region-based fully convolutional network)는 말 그대로 image에서의 region, 이미지 내의 object의 위치정보에 기반한 fully convolutional network다. 이 모델은 Faster R-CNN을 그대로 가져오되, RPN 이후의 단계만 수정해서 속도를 무지하게 향상시켰다. 여기서 새로 추가한(수정한) 아이디어는 크게 3가지이다. Fully Convolutional Network Positi..