티스토리

Hello Potato World

검색하기

블로그 홈

Hello Potato World

hellopotatoworld.tistory.com/m

Heosuab 님의 블로그입니다.

구독자: 18

방명록 방문하기

주요 글 목록

[포테이토 논문 리뷰] Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Zero-shot learning paper review] Compositional Zero-shot Learning (CZSL) 인간은 이미 알고 있는 개체에 대한 정보들을 조합하고 구성하여 새로운 개체에 일반화하는 능력을 가지고 있다. 다시 말해서, 이미 알고 있는 "whole apple"과 "sliced banana"의 정보를 조합해서 새로운 개체인 "sliced apple" 또는 "whole banana"를 생각해낼 수 있다. 이 능력을 AI 시스템에서 모방하고자 하는 task를 Compositional Zero-shot Learning (CZSL)이라고 한다. CZSL에서는 각각의 개체(composition)을 두 가지의 구성 요소, state와.. 공감수 6 댓글수 5 2023. 1. 8.
[포테이토 논문 리뷰] Spatiotemporal Contrastive Video Representation Learning ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Video paper review] Pre-text task 양질의 데이터셋에 전부 라벨링을 하는 것은 비용이 크기 때문에, label이 없이 학습하는 unsupervised learning이 많이 연구되고 있다. 그 중에서도, label이 없는 데이터셋 내에서 학습하고자 하는 문제(Pre-text task)와 label을 대체할 수 있는 target을 직접 정의하여 supervision으로 학습하는 방법을 self-supervised learning이라고 한다. Contrastive learning은 self-supervised learning의 대표적인 방법 중 하나로, input sample들 사이에서 positive pair를 묶은 후에 embed.. 공감수 6 댓글수 2 2022. 10. 6.
[포테이토 논문 리뷰] (TCAV) Interpretability Beyond Feature Attribution:Quantitative Testing with Concept Activation Vectors ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Concepts CNN은 Input으로부터 layer가 깊어질주록 high-level의 feature를 추출한다. 낮은 layer에서는 Edge, Comer, Color와 같은 구체적인 정보들(Low-level Features)을 추출하고, 깊은 layer에서는 Object의 일부분이나 전체 Object처럼 사람이 직관적으로 볼 수 있는 정보들(High-level Features)를 추출한다. Image classifier와 같은 많은 시스템에서 high-level feature보다는 low-level feature를 사용하는데, 이 논문에서는 사람이 직관적으로 이해할 수 있는 특징 또는 사용자가 직접 정의한 특징을 Con.. 공감수 6 댓글수 0 2021. 8. 29.
[포테이토 논문 리뷰] Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Generalization to CAM 모델을 해석할 때에는 Simplicity와 Interpretability사이의 tradeoff 관계가 있다. 즉, 모델이 간단할수록 해석은 용이해지고 모델이 복잡할수록 해석은 어려워지기 때문에 모델의 accuracy를 잃지 않으면서 해석하기 위해서는 이 둘 사이의 적정점을 찾는것이 중요하다. 지난번 리뷰했던 CAM에서는, CNN모델의 가장 마지막 layer인 FC layer를 Global average pooling으로 대체하여 overfitting을 줄이고 학습되지 않은 task(weakly-supervised object localization)을 수행하여 시각화할 수 있다는 장점.. 공감수 10 댓글수 0 2021. 8. 8.
[포테이토 논문 리뷰] Learning Deep Features for Discriminative Localization ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI paper review] Interpretable Machine Learning 책에서 소개된 Grad-CAM의 내용이 궁금해져서 찾아보다가, 연관된 Grad-CAM, Grad-CAM++, Guided Grad-CAM 등등의 기반이 되는 CAM(Class Activation Maps)을 다루는 논문을 먼저 리뷰하게 되었다. Global Average Pooling(GAP) vs Global Max Pooling(GMP) 이 논문에서 가장 중요한 개념인 Global Average Pooling을 먼저 보면, 우선 Pooling layer란 CNN 내의 많은 Convolution layer내에 존재하는 filter(parameter)의 개수가 너무 많.. 공감수 7 댓글수 1 2021. 8. 8.
[포테이토 스터디] LRP: Layer-wise Relevance Propagation ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 20210802 XAI study 발표자료 (참고블로그주소 References) LRP: Layer-wise Relevance Propagation LRP : 분해를 통한 설명(Explanation by Decomposition)을 통해 Neural Network의 결과물을 이해할 수 있게 도와주는 방법 input x가 총 d차원으로 이루어져있다고 하면, d차원의 각각의 feature들이 최종 output을 도출하는데에 서로다른 영향력을 가지고 있다고 가정하고 이 기여도(Relevance Score)를 계산하여 분석하는 방법이다. $x$ : sample image $f(x)$ :.. 공감수 12 댓글수 0 2021. 8. 2.
[포테이토 스터디] Detecting Concepts ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 7.3 Detecting Concepts - Black-box 모델을 설명하는 방법의 두 가지 관점 Feature-based approach Concept-based approach - 지금까지 본 Feature-based approach 방법들의 단점 Feature들이 Interpretability 관점에서 전부 유용하지 않다. (ex) image에서 각각의 pixel의 중요도가 의미있는 해석을 만들진 않음 도출되는 explanation의 표현이 feature의 갯수에 의해 제약을 받는다. - Concept-based Approach concepts : 어떠한 추상적인 것들도 .. 공감수 6 댓글수 0 2021. 6. 28.
[포테이토 스터디] Pixel Attribution (Saliency Maps) ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 7.2 Pixel Attribution (Saliency Maps) (비슷한 의미로 불리는 용어들) Pixel attribution = Sensitivity map = Saliency map = Pixel attribution map = Gradient-based attribution method = Feature relevance = Feature attribution = Feature contribution - 두 가지의 다른 방식의 Attribution 1. Feature attribution Methods prediction이 얼마나 변화했는지에(Negatively/Pos.. 공감수 6 댓글수 0 2021. 6. 28.
[포테이토 논문 리뷰] MOTR: End-to-End Multiple-Object Tracking with TRansformer ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Video Tracking paper review] 최근 MOT에 관심이 생겨서 관련 내용들이나 issue들에 관해 공부해보고자 했는데, MOT연구 동향의 큰 흐름과 중요한 issue들을 잘 보여주고 있어서 매우 유익했던 논문이다. 특히 최근에 딥러닝 분야를 흔들고 있는 Transformer에 흥미가 많았는데 Video Tracking에서도 활용되어 좋은 성능을 보이고 있다는 것을 볼 수 있었어서 더욱 인상깊었던 것 같다. MOTR MOTR은 Transformer기반의 구조로 구성되어 있고, 아래 3가지 concept들을 통해 기존 MOT의 전통적인 framework의 문제점들을 해결하였다. 전체 구조가 end-to-end 로 연결된 framework T.. 공감수 9 댓글수 7 2021. 6. 24.
[포테이토 스터디] Influential Instances ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 6.4 Influential Instances 머신러닝 모델은 Training Data로 학습된 결과물이기 때문에 하나의 Training Instance를 삭제하는 것은 결과 모델에 영향을 준다. Influential Training Instance 해당 instance의 삭제가 모델의 "Parameters"또는 "Prediction"에 상당한 변화를 주는 Data 머신러닝 모델을 "Debug"하거나, Prediction을 "Better Explain"할 때 유용할 수 있다. - Outlier Dataset의 다른 Instance들과 멀리 떨어져 있는 Instance 거리(ex... 공감수 8 댓글수 0 2021. 6. 22.
[포테이토 스터디] Prototypes and Criticisms ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 6.3 Prototypes and Criticisms Prototypes이란, 모든 데이터를 대표하는 data instance Criticisms란, Prototypes의 세트로 잘 표현되지 않는 data instance Prototypes와 Critisms은 Data를 설명하기 위해서도 사용되지만, Interpretable model을 만들거나 Black box 모델을 Interpretable하게 만들 때 사용될 수 있다. - Simulated Data Distribution Prototypes과 criticisms는 항상 데이터 내의 instances중 하나로 선택된다. (아.. 공감수 8 댓글수 0 2021. 6. 22.
[포테이토 스터디] Local Surrogate(LIME) ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.7 Local Surrogate (LIME) Local Surrogate Model이란? Black box 모델의 개별 예측을 설명하는데 사용하는 해석 가능한 모델 - Local Interpretable Model-agnostic Explanations(LIME): 지역 대리 모델 제안 Global Surrogate 모델처럼 전체 Dataset을 사용하여 근사하는 것이 아니라, Black box 모델이 주어져서 Data Point을 원하는 만큼 입력하여 개별 예측을 얻어낼 수 있을 때, 그 Prediction들을 이해하는 것 - for prediction 변형된 sample들.. 공감수 7 댓글수 0 2021. 5. 24.
[포테이토 스터디] Global Surrogate ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.6 Global Surrogate Global Surrogate Model이란? Black box model의 예측에 근사하도록 학습된 interpretable model 아래와 같은 다양한 이름으로도 통한다 Surrogate(대체) Model = Approximation model = metamodel = response surgace model = emulator = ... Blackbox 모델, Surrogate 모델 둘 다 Machine Learning model Blackbox 모델의 예측에 최대한 근사 Surrogate 모델은 해석가능하여야 함 5.6.1 Theor.. 공감수 9 댓글수 1 2021. 5. 24.
[포테이토 스터디] Permutation Feature Importance ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.5 Permutation Feature Importance 특성 값을 섞은 후에 모델의 prediction error를 측정하여 구하는 방식 Important Feature feature의 값들을 섞었을 때 모델의 prediction error가 증가하는 경우 모델의 prediction이 특성에 의존적 Unimportant Feature feature의 값들을 섞었을 때 모델의 prediction error가 변하지 않는 경우 모델의 prediction이 특성에 무관 Algorithm The Permutation feature importance algorithm based .. 공감수 7 댓글수 0 2021. 5. 22.
[포테이토 스터디] Feature Interaction ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [XAI study_ Interpretable Machine Learning] 5.4 Feature Interaction prediction model 내에서 feature들이 상호작용하는 경우 각각의 feature effect의 합만으로는 예측을 표현할 수 없다. Linear Regression에서의 예시를 들어 확인해보자. 1. 두 개의 feature를 사용하는 linear regression 모델에서 feature interaction이 존재하지 않는 경우 X_1=1, X_2=1일 때의 data를 제외한 나머지 3개의 data를 사용하여 위와 같은 Linear Regression Function의 regression coefficient를 구해보면(e.. 공감수 7 댓글수 0 2021. 5. 22.
[포테이토 논문 리뷰] GAN Augmentation: Augmenting Training Data using Generative Adversarial Networks ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] 최근에 읽었던 실험 논문 중에서 저자의 체계성과 진행 과정이 가장 눈에 잘 들어와서 정리해서 발표해보았던 논문. 의료데이터에서 GAN(Generative Adversarial Networks)을 사용하여 data augmentation 실험을 진행하였다. GAN Augmentation 최근 몇년간 data augmentation에 GAN을 적용시키려는 시도와 연구가 꽤 이루어지고 있다. GAN에도 이미 워낙 많은 모델들이 나와있기 때문에 다른 논문들에서는 또 여러 모델들이 사용되었지만, 여기서는 Progressive Growing of GANs(PGGAN)을 기반으로 학습하였다. 우선 논문에서 언급한.. 공감수 10 댓글수 0 2021. 3. 27.
[포테이토 논문 리뷰] Cascade Eff-B7 NAS-FPN : Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Data Augmentation paper review] 현재(2021/03/12 기준) COCO test-dev, COCO minival, PASCAL VOC 2007 등의 벤치마크에서 Best Method를 자리잡고 있는 논문. 기존 연구 방향에서 조금 벗어난 augmentation 방식을 사용해서 Instance Segmentation과 Object Detection의 성능을 끌어올렸다. Simple Copy-Paste 다른 비전 분야와 마찬가지로 Instance Segmentation 분야에서도 정확도를 높이고 안정성을 키우기 위해 Data Augmentation이 계속해서 연구되고 있다. Segmentation에서는 객체의 위치를 나타내는 ann.. 공감수 9 댓글수 0 2021. 3. 17.
[포테이토 논문 리뷰] Learning Data Augmentation Strategies for Object Detection ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Data Augmentation/Object Detection paper review] Classification에서의 Data Augmentation은 많이 다뤄봤지만 Object Detection에서는 구체적으로 어떻게 이뤄지는지 문득 궁금해져서 서칭하다가 읽게 된 논문. 생각만큼 선행연구가 많이 이뤄지진 않은 것 같고 detection 외에도 많은 내용을 공부해야 정확하게 이해할 수 있을 것 같다. Learning Data Augmentation Strategies for Object Detection Data Augmentation(데이터 증강)은 학습 데이터가 부족한 상황이나, 학습 데이터를 늘려서 모델의 성능을 높이고 싶을 때 사용하는 방법이다.. 공감수 8 댓글수 4 2020. 12. 9.
[포테이토 논문 리뷰] YOLO9000: Better, Faster, Stronger(＆Yolov2) ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] YOLO9000 이 논문에서는 YOLO의 mAP와 FPS를 개선시킨 YOLOv2와, object categories를 약 9000종류 이상으로 넓게 확장시킨 YOLO9000 모델에 대해 설명하고 있다. 사실 논문 제일 첫부분에서 언급한 주요 아이디어에 대한 내용은 끝부분에 나와있어서 중간에 잠깐 혼란스러웠던 것 같다(?) YOLOv1에서 개선된 부분들을 총 3가지 section으로 나눠 설명하고 있다. Better : mAP 개선 (약 13.4%↑, 416*416input 기준) Faster : FPS 개선 (약 22%↑) Stronger : object categories를 9000개 이상으로 끌어.. 공감수 6 댓글수 0 2020. 12. 4.
[포테이토 논문 리뷰] R-FCN:Region-based Fully Convolutional Networks ⋆ ｡ ˚ ☁︎ ˚ ｡ ⋆ ｡ ˚ ☽ ˚ ｡ ⋆ [Object Detection paper review] 일단 오늘 읽은 paper부터 남기지만 이전에 읽은 paper들, 머신러닝 및 CNN도 기본부터 다시 봐보자는 마음으로 전부 정리할 예정 R-FCN R-FCN(Region-based fully convolutional network)는 말 그대로 image에서의 region, 이미지 내의 object의 위치정보에 기반한 fully convolutional network다. 이 모델은 Faster R-CNN을 그대로 가져오되, RPN 이후의 단계만 수정해서 속도를 무지하게 향상시켰다. 여기서 새로 추가한(수정한) 아이디어는 크게 3가지이다. Fully Convolutional Network Positi.. 공감수 8 댓글수 2 2020. 11. 19.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.