Hello Potato World

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Zero-shot learning paper review] Compositional Zero-shot Learning (CZSL) 인간은 이미 알고 있는 개체에 대한 정보들을 조합하고 구성하여 새로운 개체에 일반화하는 능력을 가지고 있다. 다시 말해서, 이미 알고 있는 "whole apple"과 "sliced banana"의 정보를 조합해서 새로운 개체인 "sliced apple" 또는 "whole banana"를 생각해낼 수 있다. 이 능력을 AI 시스템에서 모방하고자 하는 task를 Compositional Zero-shot Learning (CZSL)이라고 한다. CZSL에서는 각각의 개체(composition)을 두 가지의 구성 요소, state와..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Video paper review] Pre-text task 양질의 데이터셋에 전부 라벨링을 하는 것은 비용이 크기 때문에, label이 없이 학습하는 unsupervised learning이 많이 연구되고 있다. 그 중에서도, label이 없는 데이터셋 내에서 학습하고자 하는 문제(Pre-text task)와 label을 대체할 수 있는 target을 직접 정의하여 supervision으로 학습하는 방법을 self-supervised learning이라고 한다. Contrastive learning은 self-supervised learning의 대표적인 방법 중 하나로, input sample들 사이에서 positive pair를 묶은 후에 embed..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Concepts CNN은 Input으로부터 layer가 깊어질주록 high-level의 feature를 추출한다. 낮은 layer에서는 Edge, Comer, Color와 같은 구체적인 정보들(Low-level Features)을 추출하고, 깊은 layer에서는 Object의 일부분이나 전체 Object처럼 사람이 직관적으로 볼 수 있는 정보들(High-level Features)를 추출한다. Image classifier와 같은 많은 시스템에서 high-level feature보다는 low-level feature를 사용하는데, 이 논문에서는 사람이 직관적으로 이해할 수 있는 특징 또는 사용자가 직접 정의한 특징을 Con..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Generalization to CAM 모델을 해석할 때에는 Simplicity와 Interpretability사이의 tradeoff 관계가 있다. 즉, 모델이 간단할수록 해석은 용이해지고 모델이 복잡할수록 해석은 어려워지기 때문에 모델의 accuracy를 잃지 않으면서 해석하기 위해서는 이 둘 사이의 적정점을 찾는것이 중요하다. 지난번 리뷰했던 CAM에서는, CNN모델의 가장 마지막 layer인 FC layer를 Global average pooling으로 대체하여 overfitting을 줄이고 학습되지 않은 task(weakly-supervised object localization)을 수행하여 시각화할 수 있다는 장점..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Interpretable Machine Learning 책에서 소개된 Grad-CAM의 내용이 궁금해져서 찾아보다가, 연관된 Grad-CAM, Grad-CAM++, Guided Grad-CAM 등등의 기반이 되는 CAM(Class Activation Maps)을 다루는 논문을 먼저 리뷰하게 되었다. Global Average Pooling(GAP) vs Global Max Pooling(GMP) 이 논문에서 가장 중요한 개념인 Global Average Pooling을 먼저 보면, 우선 Pooling layer란 CNN 내의 많은 Convolution layer내에 존재하는 filter(parameter)의 개수가 너무 많..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 20210802 XAI study 발표자료 (참고블로그주소 References) LRP: Layer-wise Relevance Propagation LRP : 분해를 통한 설명(Explanation by Decomposition)을 통해 Neural Network의 결과물을 이해할 수 있게 도와주는 방법 input x가 총 d차원으로 이루어져있다고 하면, d차원의 각각의 feature들이 최종 output을 도출하는데에 서로다른 영향력을 가지고 있다고 가정하고 이 기여도(Relevance Score)를 계산하여 분석하는 방법이다. $x$ : sample image $f(x)$ :..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 7.3 Detecting Concepts - Black-box 모델을 설명하는 방법의 두 가지 관점 Feature-based approach Concept-based approach - 지금까지 본 Feature-based approach 방법들의 단점 Feature들이 Interpretability 관점에서 전부 유용하지 않다. (ex) image에서 각각의 pixel의 중요도가 의미있는 해석을 만들진 않음 도출되는 explanation의 표현이 feature의 갯수에 의해 제약을 받는다. - Concept-based Approach concepts : 어떠한 추상적인 것들도 ..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 7.2 Pixel Attribution (Saliency Maps) (비슷한 의미로 불리는 용어들) Pixel attribution = Sensitivity map = Saliency map = Pixel attribution map = Gradient-based attribution method = Feature relevance = Feature attribution = Feature contribution - 두 가지의 다른 방식의 Attribution 1. Feature attribution Methods prediction이 얼마나 변화했는지에(Negatively/Pos..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Video Tracking paper review] 최근 MOT에 관심이 생겨서 관련 내용들이나 issue들에 관해 공부해보고자 했는데, MOT연구 동향의 큰 흐름과 중요한 issue들을 잘 보여주고 있어서 매우 유익했던 논문이다. 특히 최근에 딥러닝 분야를 흔들고 있는 Transformer에 흥미가 많았는데 Video Tracking에서도 활용되어 좋은 성능을 보이고 있다는 것을 볼 수 있었어서 더욱 인상깊었던 것 같다. MOTR MOTR은 Transformer기반의 구조로 구성되어 있고, 아래 3가지 concept들을 통해 기존 MOT의 전통적인 framework의 문제점들을 해결하였다. 전체 구조가 end-to-end 로 연결된 framework T..

⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 6.4 Influential Instances 머신러닝 모델은 Training Data로 학습된 결과물이기 때문에 하나의 Training Instance를 삭제하는 것은 결과 모델에 영향을 준다. Influential Training Instance 해당 instance의 삭제가 모델의 "Parameters"또는 "Prediction"에 상당한 변화를 주는 Data 머신러닝 모델을 "Debug"하거나, Prediction을 "Better Explain"할 때 유용할 수 있다. - Outlier Dataset의 다른 Instance들과 멀리 떨어져 있는 Instance 거리(ex...