Hello Potato World
[ํฌํ ์ดํ ์คํฐ๋] Local Surrogate(LIME) ๋ณธ๋ฌธ
โ ๏ฝก ห โ๏ธ ห ๏ฝก โ ๏ฝก ห โฝ ห ๏ฝก โ
[XAI study_ Interpretable Machine Learning]
5.7 Local Surrogate (LIME)
Local Surrogate Model์ด๋? Black box ๋ชจ๋ธ์ ๊ฐ๋ณ ์์ธก์ ์ค๋ช ํ๋๋ฐ ์ฌ์ฉํ๋ ํด์ ๊ฐ๋ฅํ ๋ชจ๋ธ
- Local Interpretable Model-agnostic Explanations(LIME):
- ์ง์ญ ๋๋ฆฌ ๋ชจ๋ธ ์ ์
- Global Surrogate ๋ชจ๋ธ์ฒ๋ผ ์ ์ฒด Dataset์ ์ฌ์ฉํ์ฌ ๊ทผ์ฌํ๋ ๊ฒ์ด ์๋๋ผ,
Black box ๋ชจ๋ธ์ด ์ฃผ์ด์ ธ์ Data Point์ ์ํ๋ ๋งํผ ์ ๋ ฅํ์ฌ ๊ฐ๋ณ ์์ธก์ ์ป์ด๋ผ ์ ์์ ๋, ๊ทธ Prediction๋ค์ ์ดํดํ๋ ๊ฒ
- for prediction
- ๋ณํ๋ sample๋ค๊ณผ ์ด์ ๋ํ Black box model์ ์์ธก๊ฐ์ผ๋ก ๊ตฌ์ฑ๋ ์ Dataset
- ์ด ์๋ก์ด Dataset๋ก ํด์ ๊ฐ๋ฅํ ๋๋ฆฌ ๋ชจ๋ธ ํ์ต
- Sampled Instances์ Instance of Interest ์ฌ์ด์ ๊ทผ์ ์ฑ์ ํตํ weight ์ ์ฉ
- Local Surrogate Model:
Instance x์ ๋ํ ์ค๋ช ๋ชจ๋ธ
- ์๋ ๋ชจ๋ธ f์์ Loss function L
- L์ ์ต์ํ ํ๋ surrogate model g
- ๊ทผ์ ๋ ์ธก์ ๊ฐ pi(x) : instance x์ neighborhood ํฌ๊ธฐ ๊ฒฐ์
- ๋ชจ๋ธ ๋ณต์ก๋๋ ์ฌ์ฉ์๊ฐ ์ง์ ๊ฒฐ์ ํด์ผ ํจ
Steps to obtain a Surrogate Model :
1. Black box์์ธก์ ๋ํ ์ค๋ช ์ ์ํ๋ Instance of Interest ์ ํ
2. Dataset์ ๋ณ๊ฒฝํ์ฌ ์ data points์ ๋ํ ์์ธก๊ฐ ์ป์
3. Instance of Interest์์ ๊ทผ์ ๋์ ๋ฐ๋ฅธ ๊ฐ์ค์น ๊ณ์ฐ
4. ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ ํด์๊ฐ๋ฅํ ๋๋ฆฌ ๋ชจ๋ธ์ ๋ณํ๋ Dataset์ผ๋ก ํ์ต
5. Local model ํด์, ์ค๋ช
Dataset์ ๋ณํํ๋ ๋ฐฉ๋ฒ์ Tabular, Text, Image data ๊ฐ๊ฐ์ ๋ํด ๋ค๋ฅด๋ค.
LIME for Tabular Data
Tabular Data์ ๋ํ Random Forest Prediction
(A) ์ฃผ์ด์ง Random Forest์ ์์ธก ํน์ฑ : X1, X2 (predicted class : 1(์ด๋์), 0(๋ฐ์)
(B) Instance of Interest์ ์ ๊ท๋ถํฌ์์ sampling๋ ์๋ก์ด Dataset
(C) Instance of Interest์์ ๊ทผ์ ์ฑ์ ๊ณ ๋ คํ weight ๋ถ์ฌ
(D) weighted samples์์ local๋ก ํ์ต๋ Decision Boundary (P(class=1)=0.5)
Specific Problem
- ํน์ ์ ์ฃผ๋ณ์ neighbor ์ ์ํ๊ธฐ๊ฐ ์ด๋ ค์
- ํ์ฌ LIME์ exponential smoothing kernel ์ฌ์ฉ
- exponential smoothing kernel : ๋ ๊ฐ์ instance๋ฅผ ๋ฐ์์ ๊ทผ์ ์ฑ ์ฒ๋(proximity measure)๋ฅผ ๋ฐํํ๋ ํจ์
- Kernel์ ๋๋น
=> ์ต์์ kernel์ด๋ ์ต์ ์ ๋๋น๋ฅผ ์ฐพ์ ์ ์๋ ๋ฐฉ๋ฒ์ด ์์
instance๊ฐ x=1.6์ผ ๋์ ์์ธก๊ฐ์ ๋ํ ์ค๋ช
Kernel์ ํฌ๊ธฐ์ ๋ฐ๋ผ ๋งค์ฐ ๋งค์ฐ ํธ์ฐจ๊ฐ ํฐ ๊ฒฐ๊ณผ๊ฐ์ ๋ณด์
LIME for Text Data
Youtube๋๊ธ์ ์คํธ(class=1) ๋๋ ์ผ๋ฐ(class=0)์ผ๋ก ๋ถ๋ฅํ๋ Deep Decision Tree
Text Data์์์ ๋ฐ์ดํฐ ๋ณํ๋ฐฉ์์ ์ฌ์ฉํ์ฌ Dataset์ ์ผ๋ถ ๋ณํ ์์ฑ
- 1 : ๋จ์ด์ ์ผ๋ถ, 0 : ์ ๊ฑฐ๋ ๋จ์ด
- prob : ๊ฐ ๋ณํ๋ ๋ฌธ์ฅ์ ๋ํ ์คํธ์ ์์ธก ๊ฐ๋ฅ์ฑ
- weight : (1-์ ๊ฑฐ๋ ๋จ์ด์ ๋น์จ) : ์๋ ๋ฌธ์ฅ์ ๋ํ ๊ทผ์ ๋
(ex) 7๋จ์ด ์ค 2๊ฐ์ ๋จ์ด๊ฐ ์ ๊ฑฐ๋์๋ค๋ฉด weight=1-2/7
LIME ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ๋ฐ๊ฒฌ๋ local ๊ฐ์ค์น
- channel! feature๊ฐ Spam์ผ๋ก ๋ถ๋ฅ๋จ
LIME for Image Data
Image๋ Tabular, Text Data์๋ ๋ค๋ฅด๊ฒ ๊ฐ๋ณ pixel์ ๋ณํํ๋ ๊ฒ์ ์๋ฏธ๊ฐ ์์
=> superpixel ๋จ์๋ก ๋ณํ
Superpixel : ๋น์ทํ ์์์ ์ํธ ์ฐ๊ฒฐ๋ pixel
Inception V3 Neural Network๋ก ์์ธกํ Classification Top Prediction
- "Bagel" : 77%
- "Strawberry" : 4%
์์ ์ด๋ฏธ์ง๋ LIME ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ์ค๋ช ๋ "Bagel"๊ณผ "Strawberry" label์ ๋ํ ์ ๋ณด ์๊ฐํ
- Green : ๋ฒ ์ด๊ธ๊ณผ ๋ธ๊ธฐ์ผ ํ๋ฅ ์ ์ฆ๊ฐ์ํค๋ part
- Red : ๋ฒ ์ด๊ธ๊ณผ ๋ธ๊ธฐ์ผ ํ๋ฅ ์ ๊ฐ์์ํค๋ part
Advantages
- ๊ธฐ์กด์ ๊ธฐ์ด ๋ชจ๋ธ์ ๋ณํํ๋๋ผ๋ ๋์ผํ ๋ก์ปฌ ๋ชจ๋ธ ์ฌ์ฉ ๊ฐ๋ฅ
- ํ ํ์์ ๋ฐ์ดํฐ, ํ ์คํธ, ์ด๋ฏธ์ง์ ๋ชจ๋ ์๋ํ๋ ๋ช ์๋๋ ๋ฐฉ๋ฒ ์ค ํ๋
- ์๋ ๋ชจ๋ธ์ด ํ์ตํ ๊ฒ๊ณผ ๋ค๋ฅธ ํน์ฑ๋ค์ ์ฌ์ฉํ ์ ์์
Disadvantages
- Neighbors์ ๋ํ ์ฌ๋ฐ๋ฅธ ์ ์ ๋ถ๋ถ๋ช
์ฌ๋ฌ kernel์ ์ฌ์ฉํ ์กฐ์ ์ ์ฌ์ฉํด๋ณผ ์ ์์ - ์ค๋ช ๋ชจ๋ธ์ ๋ณต์ก์ฑ์ ๋ฏธ๋ฆฌ ์ง์ ํด์ผ ํจ
- ์ค๋ช
์ ๋ถ์์ ์ฑ : ์๋ฎฌ๋ ์ด์
ํ๊ฒฝ๋ง๋ค ๋ค๋ฅธ ์ค๋ช
๋์ถ
์ํ๋ง ๊ณผ์ ์ ๋ฐ๋ณต์ ํตํด ๊ฐ์ ๊ฐ๋ฅ
References
[1] Interpretable Machine Learning, Christoph Molnar
'Study๐ฅ > XAI' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
[ํฌํ ์ดํ ์คํฐ๋] Influential Instances (0) | 2021.06.22 |
---|---|
[ํฌํ ์ดํ ์คํฐ๋] Prototypes and Criticisms (0) | 2021.06.22 |
[ํฌํ ์ดํ ์คํฐ๋] Global Surrogate (1) | 2021.05.24 |
[ํฌํ ์ดํ ์คํฐ๋] Permutation Feature Importance (0) | 2021.05.22 |
[ํฌํ ์ดํ ์คํฐ๋] Feature Interaction (0) | 2021.05.22 |