21.1 불확실성 정량화

실습 · 연습문제 1개

앙상블 예측의 분산 분해 variance-decomposition

앙상블 구성원 m=1,…,Mm = 1, \dots, M이 입력마다 가우시안 예측분포 N(μm(x),σm2(x))\mathcal{N}(\mu_m(x), \sigma_m^2(x))를 낸다. 구성원을 고르게 섞은 혼합분포의 분산은 전분산 법칙으로

Var⁡[y∣x]=1M∑mσm2(x)⏟aleatoric+1M∑m(μm(x)−μˉ(x))2⏟epistemic,μˉ(x)=1M∑mμm(x)\operatorname{Var}[y \mid x] = \underbrace{\frac{1}{M}\sum_m \sigma_m^2(x)}_{\text{aleatoric}} + \underbrace{\frac{1}{M}\sum_m \big(\mu_m(x) - \bar\mu(x)\big)^2}_{\text{epistemic}}, \qquad \bar\mu(x) = \frac{1}{M}\sum_m \mu_m(x)

이다. 함수 decompose(mu, var)를 완성한다.

인자 shape 의미
mu (M, N) 구성원 mm이 입력 nn에 대해 낸 평균
var (M, N) 구성원 mm이 입력 nn에 대해 낸 분산(표준편차가 아니다)

반환값은 (aleatoric, epistemic, total) 세 배열이고 각각 shape (N,)이다. epistemic 항은 구성원 수 MM으로 나눈다(ddof=0). 이렇게 해야 total이 혼합분포의 분산과 정확히 같다.

테스트는 손으로 계산한 작은 예, shape, 그리고 혼합분포에서 직접 뽑은 표본의 분산과 total이 맞는지 확인한다.