11.5 기댓값·부등식·극한정리

실습 · 연습문제 2개

Chebyshev와 Hoeffding으로 필요한 표본 수 구하기 sample-size-bounds

독립이고 같은 분포를 따르는 X1,…,XnX_1, \dots, X_n의 표본 평균 Xˉn\bar{X}_n이 참 평균 μ\mu에서 tt 이상 벗어날 확률을 δ\delta 이하로 만들고 싶다. 두 부등식이 각각 충분한 표본 수를 준다.

  • Chebyshev (분산 σ2\sigma^2만 알 때): Pr⁡(∣Xˉn−μ∣≥t)≤σ2nt2\Pr(\lvert \bar{X}_n - \mu \rvert \ge t) \le \dfrac{\sigma^2}{n t^2}
  • Hoeffding (값이 구간 [a,b][a, b]에 있을 때): Pr⁡(∣Xˉn−μ∣≥t)≤2exp⁡ ⁣(−2nt2(b−a)2)\Pr(\lvert \bar{X}_n - \mu \rvert \ge t) \le 2\exp\!\Big(-\dfrac{2 n t^2}{(b - a)^2}\Big)

두 함수를 완성한다. 각각 우변이 δ\delta 이하가 되는 가장 작은 정수 nn을 반환한다.

  1. chebyshev_n(t, delta, sigma)
  2. hoeffding_n(t, delta, a, b)

테스트는 반환한 nn에서 경계가 δ\delta 이하이고 n−1n - 1에서는 δ\delta보다 큰지, 그리고 Hoeffding이 준 nn으로 실제 시뮬레이션을 했을 때 벗어나는 비율이 δ\delta 이하인지 확인한다.

힌트: 부등식을 nn에 대해 풀고 math.ceil로 올림한다. 두 경계 모두 δ\delta가 작아질 때 필요한 nn이 어떻게 늘어나는지 비교해 본다.

전체 분산을 배치 안과 배치 간으로 나누기 total-variance

측정을 GG개의 배치(장비·날짜·시료 묶음)로 나눠 배치마다 nn번씩 했다. 측정값 배열 y의 shape은 (G, n)이다. 전체 분산의 법칙

Var⁡(Y)=E[Var⁡(Y∣배치)]+Var⁡(E[Y∣배치])\operatorname{Var}(Y) = \mathbb{E}\big[\operatorname{Var}(Y \mid \text{배치})\big] + \operatorname{Var}\big(\mathbb{E}[Y \mid \text{배치}]\big)

을 표본에 적용해, 함수 variance_decomposition(y)가 (total, within, between)을 반환하게 한다.

반환값 의미
total 모든 측정값을 하나로 모은 분산
within 배치마다 구한 분산의 평균 (배치 안 분산)
between 배치 평균들의 분산 (배치 간 분산)

세 분산 모두 개수 그대로 나누는 분산(np.var의 기본값, ddof=0)으로 계산한다. 이렇게 하면 배치 크기가 같을 때 total == within + between이 반올림 오차 안에서 정확히 성립한다. 테스트는 이 항등식, 배치 간 차이가 없을 때와 배치 안 잡음이 없을 때의 극단적인 경우, 그리고 시뮬레이션 데이터에서 각 성분이 이론값에 가까운지를 확인한다.

힌트: axis 인자로 배치 방향의 평균과 분산을 구한다.