실습 · 연습문제 2개

자주 쓰는 손실함수는 대부분 어떤 확률모형의 평균 음의 로그우도(NLL)다. 세 함수를 완성한다. 모두 관측마다의 NLL을 평균한 값을 반환하고, 정규화 상수까지 포함한다.

1. gaussian_nll(y, mu, sigma): $y \sim \mathcal{N}(\mu, \sigma^2)$ $-\log p(y) = \tfrac12 \log(2\pi\sigma^2) + \frac{(y-\mu)^2}{2\sigma^2}$
2. laplace_nll(y, mu, b): $y \sim \mathrm{Laplace}(\mu, b)$, 밀도 $\frac{1}{2b}\exp\!\big(-\lvert y-\mu \rvert / b\big)$
3. bernoulli_nll(y, p): $y \in \{0, 1\}$, $\Pr[y = 1] = p$

mu, p는 y와 같은 shape의 배열이거나 스칼라다. sigma, b는 양의 스칼라다.

테스트는 다음을 확인한다.

• $\sigma$가 고정되면 가우시안 NLL은 MSE에 양의 상수를 곱하고 상수를 더한 것이다. 그래서 둘의 최소점이 같다.
• Laplace NLL을 최소화하는 상수 $\mu$는 중앙값이다(L1 손실).
• Bernoulli NLL은 binary cross-entropy와 같다.

검출기로 방사선 계수를 여러 번 측정했다. $i$번째 측정은 노출 시간 $t_i$ 초 동안 $y_i$개를 셌고, 계수율을 $\lambda$ [1/s]라 하면

이다. 두 함수를 완성한다.

1. poisson_nll(lam, counts, exposure_s): 전체 데이터의 음의 로그우도 $-\sum_i \log p(y_i \mid \lambda)$. $\log y_i!$ 항까지 포함한다(math.lgamma(y + 1)).
2. poisson_mle(counts, exposure_s): 음의 로그우도를 최소화하는 $\lambda$. 로그우도를 $\lambda$로 미분해 0으로 두면 닫힌 해가 나온다.

힌트: 각 측정의 계수율 $y_i / t_i$를 단순 평균하는 것은 MLE가 아니다. 노출 시간이 긴 측정일수록 정보가 많다. 테스트가 이 차이를 확인한다.