추정량의 성질

기본 개념

통계적 추론은 "보이지 않는 전체"에 대해 "보이는 일부"로 말하는 일이다. 이 둘을 섞어 쓰면 결론이 무엇에 대한 것인지 흐려진다. 먼저 여섯 용어를 구분한다.

가장 중요한 구분은 추정량과 추정값이다. 추정량은 표본이라는 확률변수의 함수이므로 그 자체가 확률변수이고, 분포를 가진다. 이 분포를 표본분포(sampling distribution)라 한다. 추정값은 그 분포에서 한 번 뽑힌 숫자다. 이 장에서 다루는 bias·분산·일관성·효율성은 모두 표본분포의 성질이다. 숫자 하나인 추정값에는 bias도 분산도 없다.

표본분포는 "같은 실험을 무한히 반복하면 추정값이 어떻게 흩어지는가"를 뜻한다. 현실에서는 실험을 한 번만 하지만, 시뮬레이션에서는 모집단을 정해 두고 반복할 수 있다. 평균 2.0 Hz, 표준편차 0.5 Hz인 정규분포를 모집단으로 두고, 25번 측정하는 실험을 10,000번 반복한다.

import numpy as np

rng = np.random.default_rng(0)
mu_hz, sigma_hz, n = 2.0, 0.5, 25        # 모집단: 고유진동수 측정값의 분포

x = rng.normal(mu_hz, sigma_hz, size=n)   # 실제로 손에 쥔 표본 하나, (n,)
print(f"이 표본의 추정값  x̄ = {x.mean():.3f} Hz,  추정 표준오차 s/√n = {x.std(ddof=1) / np.sqrt(n):.3f} Hz")

reps = rng.normal(mu_hz, sigma_hz, size=(10000, n))   # 같은 실험을 10,000번 반복, (R, n)
xbar = reps.mean(axis=1)                               # 추정량의 표본분포, (R,)
print(f"반복 실험의 x̄    평균 {xbar.mean():.3f} Hz,  표준편차 {xbar.std():.3f} Hz")
print(f"이론값            평균 {mu_hz:.3f} Hz,  σ/√n     {sigma_hz / np.sqrt(n):.3f} Hz")

이 표본의 추정값  x̄ = 1.963 Hz,  추정 표준오차 s/√n = 0.087 Hz
반복 실험의 x̄    평균 2.000 Hz,  표준편차 0.100 Hz
이론값            평균 2.000 Hz,  σ/√n     0.100 Hz

첫 줄이 현실의 상황이다. 표본은 하나뿐이고, 추정값 1.963 Hz와 그 불확실성의 추정 0.087 Hz만 손에 있다. 아래 두 줄은 시뮬레이션만 볼 수 있는 표본분포다. 추정량 $\bar{X}$의 표준편차는 이론값 $\sigma/\sqrt{n} = 0.1$ Hz와 맞는다. 이처럼 추정량의 표준편차를 표준오차(standard error, SE)라 한다. 11.5장의 기댓값 성질로 바로 유도된다.

두 번째 등호에 표본의 독립성이 쓰였다. 현실에서는 $\sigma$를 모르므로 표본 표준편차 $s$로 바꾼 $s/\sqrt{n}$을 쓰고, 이것이 첫 줄의 0.087 Hz다. 표준편차 $s$는 측정값 하나의 퍼짐(모집단의 성질)이고, 표준오차는 추정량의 퍼짐이다. $n$을 늘리면 표준오차는 0으로 가지만 $s$는 $\sigma$로 간다.

편향과 분산

추정량이 "좋다"는 말은 표본분포가 참값 $\theta$ 근처에 좁게 모여 있다는 뜻이다. 이를 두 방향으로 나눠 잰다.

bias는 표본분포의 중심이 참값에서 얼마나 벗어났는가, 분산은 표본분포가 얼마나 퍼졌는가다. bias가 0인 추정량을 불편 추정량(unbiased estimator)이라 한다. 과녁에 비유하면 bias는 탄착군의 중심이 과녁 중심에서 벗어난 정도, 분산은 탄착군의 크기다.

두 성질을 하나로 합친 기준이 평균제곱오차(mean squared error, MSE)다.

유도는 $\hat\theta - \theta = (\hat\theta - \mathbb{E}\hat\theta) + (\mathbb{E}\hat\theta - \theta)$로 나눠 제곱을 전개하면 된다. 교차항 $2(\mathbb{E}\hat\theta - \theta)\,\mathbb{E}[\hat\theta - \mathbb{E}\hat\theta]$는 기댓값이 0이므로 사라진다. 이 분해가 말하는 것은, bias를 조금 허용하는 대신 분산을 크게 줄이면 MSE가 줄 수 있다는 것이다. 이것이 bias–variance trade-off이고, 정규화(12.2장의 MAP, 16.2장)와 베이지안 수축(13.3장)이 모두 이 원리를 쓴다.

분산 추정량. 대표적인 예가 분산의 추정이다. 편차 제곱합 $SS = \sum_i (X_i - \bar{X})^2$을 무엇으로 나눌지에 따라 세 후보가 있다.

$\mathbb{E}[SS] = (n-1)\sigma^2$이므로 $n-1$로 나눈 $s^2$이 불편이다. $\bar{X}$가 표본에 가장 가깝게 맞춰진 중심이라 편차가 참 평균에서 잰 것보다 체계적으로 작고, 그만큼을 나누는 수에서 보정하는 것이다. $n$으로 나눈 $\hat\sigma^2_n$은 12.2장에서 보게 될 정규분포의 최대우도 추정량이고, bias는 $-\sigma^2/n$이다. 정규분포에서 $n = 5$로 세 추정량을 비교한다.

sigma2, n = 1.0, 5
X = rng.normal(0.0, np.sqrt(sigma2), size=(200000, n))   # (R, n)
ss = ((X - X.mean(axis=1, keepdims=True)) ** 2).sum(axis=1)   # 편차 제곱합, (R,)

print("나누는 수   bias     variance   MSE      bias²+variance")
for d in (n - 1, n, n + 1):
    est = ss / d
    bias, var = est.mean() - sigma2, est.var()
    mse = np.mean((est - sigma2) ** 2)
    print(f"n{d - n:+d} = {d}    {bias:+.4f}  {var:.4f}     {mse:.4f}   {bias**2 + var:.4f}")

나누는 수   bias     variance   MSE      bias²+variance
n-1 = 4    -0.0002  0.5031     0.5031   0.5031
n+0 = 5    -0.2002  0.3220     0.3620   0.3620
n+1 = 6    -0.3335  0.2236     0.3348   0.3348

세 줄 모두 마지막 두 열이 같아 MSE 분해가 성립한다. 정규분포의 이론값(bias $0, -0.2, -0.333$, MSE $0.5, 0.36, 0.333$)과도 맞는다. 불편 추정량 $s^2$의 MSE가 가장 크고, 가장 크게 편향된 $n+1$ 쪽이 가장 작다. 나누는 수를 늘리면 bias가 커지는 대신 분산이 그보다 더 빨리 줄기 때문이다.

그렇다면 늘 $n+1$로 나누면 될까. 그렇지 않다. MSE를 최소로 만드는 나누는 수는 분포의 꼬리 두께에 따라 달라진다(실습에서 확인한다). 그리고 MSE가 유일한 기준도 아니다. 여러 실험실의 추정값을 평균할 때는 분산은 줄어도 bias는 줄지 않으므로 불편 추정량이 낫다. 어떤 추정량이 "좋은지"는 평가 기준을 정해야 답할 수 있다.

점근적 성질

표본 크기가 커질 때 추정량이 어떻게 행동하는지는 작은 $n$에서의 bias보다 더 기본적인 요구다. 데이터를 아무리 모아도 참값에 다가가지 않는 추정량은 쓸 이유가 없다.

일관성(consistency). $n \to \infty$일 때 추정량이 참값으로 확률수렴하면, 즉 모든 $\varepsilon > 0$에 대해

이면 일관 추정량이라 한다. 충분조건 하나는 $\mathrm{MSE}(\hat\theta_n) \to 0$, 즉 bias와 분산이 모두 0으로 가는 것이다(Chebyshev 부등식, 11.5장). $\bar{X}$의 일관성은 대수의 법칙 그 자체다.

불편성과 일관성은 서로 다른 성질이다. 두 극단적인 예로 확인한다.

• 표본 $n$개 중 첫 관측값 $X_1$만 쓰는 추정량: $\mathbb{E}[X_1] = \mu$이므로 불편이지만, 분산이 $n$과 무관하게 $\sigma^2$이므로 일관성이 없다.
• $n$으로 나눈 분산 $\hat\sigma^2_n$: bias $-\sigma^2/n$으로 편향이지만, bias와 분산이 모두 0으로 가므로 일관성이 있다.

print("   n    X₁의 sd   x̄의 sd   σ̂²(÷n)의 bias  σ̂²(÷n)의 sd")
for n in (10, 100, 1000):
    X = rng.normal(0.0, 1.0, size=(5000, n))   # 참값: 평균 0, 분산 1, (R, n)
    v = X.var(axis=1)                          # 나누는 수 n (np.var 기본값)
    print(f"{n:5d}    {X[:, 0].std():.3f}     {X.mean(axis=1).std():.3f}     {v.mean() - 1:+.4f}        {v.std():.4f}")

   n    X₁의 sd   x̄의 sd   σ̂²(÷n)의 bias  σ̂²(÷n)의 sd
   10    0.998     0.315     -0.0958        0.4295
  100    1.000     0.102     -0.0120        0.1411
 1000    1.012     0.032     -0.0016        0.0450

$X_1$의 퍼짐은 $n$이 100배가 되어도 1 근처에 머문다. $\bar{X}$의 퍼짐은 $1/\sqrt{n}$ 비율로 줄고(0.315 → 0.102 → 0.032), $\hat\sigma^2_n$은 bias와 퍼짐이 함께 0으로 간다.

점근 정규성(asymptotic normality). 많은 추정량은 일관성에 더해, $n$이 클 때 표본분포가 정규분포에 가까워진다.

여기서 $\xrightarrow{d}$는 분포수렴, $v$는 점근 분산이다. $\bar{X}$에 대해서는 중심극한정리(11.5장)가 바로 이 명제이고 $v = \sigma^2$이다. 점근 정규성은 실용적으로 중요하다. 추정량의 분포를 평균과 표준오차 두 숫자로 요약할 수 있게 해 주고, "추정값 ± 1.96 × 표준오차"라는 근사 95% 신뢰구간(12.4장)의 근거가 된다. 다만 "$n$이 크면"이 얼마나 커야 하는지는 분포와 추정량에 따라 다르다. 꼬리가 두꺼운 분포에서는 수백 개로도 부족할 수 있다.

효율성

같은 모수를 추정하는 일관 추정량이 여러 개라면 어느 쪽을 쓸까. 정규분포의 중심 $\mu$는 평균으로도 중앙값으로도 추정할 수 있고, 둘 다 불편이고 일관적이다(분포가 대칭이므로). 차이는 분산에 있다. 같은 데이터에서 분산이 작은 추정량이 정보를 더 잘 쓰는 것이다. 이를 효율성(efficiency)이라 한다.

그렇다면 분산을 끝없이 줄일 수 있을까. 데이터가 담은 정보의 양에 따라 하한이 정해진다. 모형 $p(x \mid \theta)$에서 관측 하나가 $\theta$에 대해 담은 정보의 양을 Fisher 정보(Fisher information)로 잰다.

두 번째 등호는 미분과 적분의 순서를 바꿀 수 있는 정칙 조건(regularity condition) 아래에서 성립한다. $\frac{\partial}{\partial\theta}\log p$를 score라 한다. 직관적으로 Fisher 정보는 로그 확률이 $\theta$에 대해 얼마나 뾰족하게 휘는가다. $\theta$를 조금만 바꿔도 데이터의 확률이 크게 달라지면 데이터로 $\theta$를 잘 가려낼 수 있고, 정보가 크다. 이 로그 확률을 $\theta$의 함수로 본 것이 12.2장의 로그우도다.

독립 관측 $n$개의 정보는 $nI(\theta)$이고, 정칙 조건 아래에서 모든 불편 추정량은 다음 Cramér–Rao 하한(Cramér–Rao lower bound, CRLB)을 넘지 못한다.

하한을 달성하는 불편 추정량을 효율적(efficient)이라 하고, 두 추정량의 분산의 비를 상대 효율이라 한다. 몇 가지 예를 계산해 둔다.

정규분포와 Laplace 분포에서 평균과 중앙값의 분산을 CRLB와 비교한다. 두 분포 모두 CRLB가 $1/n$이 되도록 맞췄으므로, $n \cdot \operatorname{Var}$가 1에 가까울수록 효율적이다.

n, R = 100, 20000
samples = {
    "정규 N(0,1)":     rng.normal(0.0, 1.0, size=(R, n)),     # CRLB = 1/n
    "Laplace(0,1)":    rng.laplace(0.0, 1.0, size=(R, n)),    # CRLB = b²/n = 1/n
}
print("분포            n·Var(평균)  n·Var(중앙값)  n·CRLB")
for name, X in samples.items():
    print(f"{name:14s}  {n * X.mean(axis=1).var():.3f}        {n * np.median(X, axis=1).var():.3f}          1.000")

분포            n·Var(평균)  n·Var(중앙값)  n·CRLB
정규 N(0,1)       1.000        1.533          1.000
Laplace(0,1)    1.994        1.155          1.000

정규분포에서는 평균이 하한을 달성하고, 중앙값은 분산이 약 1.5배다. 점근적으로 이 비는 $\pi/2 \approx 1.571$로, 정규 데이터에서 중앙값으로 평균과 같은 정밀도를 얻으려면 표본이 약 57% 더 필요하다. Laplace 분포에서는 순위가 뒤집힌다. 평균의 분산은 분포의 분산 $2b^2$을 따라 하한의 두 배이고, 중앙값이 하한에 훨씬 가깝다($n = 100$에서 1.155, $n \to \infty$에서 1). 어떤 추정량이 효율적인지는 모형이 정한다.

이 결과는 연구에서 두 가지로 쓰인다. 첫째, CRLB는 실험 설계의 한계를 알려 준다. 어떤 측정 방식의 Fisher 정보를 계산하면, 아무리 좋은 분석법을 써도 넘을 수 없는 정밀도를 실험 전에 알 수 있다. 25.3장의 실험 설계는 Fisher 정보를 크게 만드는 측정 조건을 고르는 문제로 쓸 수 있다. 둘째, 효율성은 모형 가정에 의존한다. 정규 잡음을 가정한 평균(제곱손실)은 그 가정이 맞으면 최선이지만, 이상치가 섞이거나 꼬리가 두꺼우면 중앙값(절댓값손실) 같은 robust 추정량이 더 정밀하다. 12.3장에서 다룰 "손실이 대표값을 고른다"는 선택이 여기서는 정밀도의 문제로 나타난다.