불편추정량. n-1로 나누는 이유

📌 불편추정량

 

불편추정량 에 대해 보겠습니다.
사실 이 불편추정량이라는 것이 통계를 공부하면서 되게 자주 나오고 자주 설명해주지만, 이해하기 쉽지 않습니다. '불편'이라는 단어의 의미가 헷갈리기도 하면서요.

 

단어의 의미를 한번 봅시다.
불편 당연하게도 불편하다가 아닌 '편항되지 않다.' 라는 의미입니다. 추정량 이는 이해하기 쉽죠. 말 그대로 '추정'입니다. 통계학에서 추정량이란, sample value들로 부터 우리가 알고자하는 population의 값을 추정하는 것이죠.

 

이들을 합치면 편향되지 않은 추정량입니다. 이는 무슨 의미일까요??

 

쉽게 말하자면 추정량인 $E(\hat{\theta})$ 와 실제 모수인 $\theta$의 차가 0이라는 의미, 이를 편향되지 않았다고 한다는 것이죠. 쉽게 식으로 모자면 아래와 같을 겁니다.

 

$$
E(\hat{\theta})- \theta = 0
\\ E(\hat{\theta}) = \theta
$$

 

이 때 $\hat{\theta}$를 $\theta$의 불편추정량이라고 할 수 있다는 겁니다.

 

➕ 표본평균은 불편추정량?

 

불편추정량의 예를 한번 들어보죠. 우리가 잘 알고있는 표본 평균의 경우 불편추정량이라고 합니다.
이는 충분히 증명 가능하죠. 한 번 아래와 같은 표본 평균이 있다고 해봅시다.

 

$$
E(\bar{X}) = \dfrac{\sum_{i=1}^nX_i}{n}
$$

 

앞에서 봤던 불편추정량의 의미에 따르면 표본 평균이 불편추정량일 수 있기 위해서는 아래와 같은 식이 성립해야 합니다.

 

$$
E(\bar{X}) = \mu
$$

 

과연 이게 같은지 한번 알아봅시다.

 

$$
\begin{align}
E(\bar{X}) &= \dfrac{\sum_{i=1}^nX_i}{n}
\\ &= \dfrac{E(X_1 + X_2 + ... + X_n)}{n}
\\ &= \dfrac{E(X_1)+E(X_2)+...+E(X_n)}{n}
\\ &= \dfrac{n \times E(X_1)}{n} = \dfrac{n \times \mu}{n}
\\ &= \mu
\end{align}
$$

 

결과를 보면 표본 평균과 모평균이 같음을 볼 수 있습니다. 즉, 이들의 편의는 0이기 때문에, 표본 평균은 모평균의 불편추정량입니다.

 

➕ 표본분산은 불편추정량? 왜 n-1로 나눌까?

 

그럼 표본 분산은 불편추정량일까요? 또 왜 표본 분산은 n이 아닌 n-1로 나눌까요?
한번 알아봅시다.

 

n으로 나눌 때

만약 n-1이 아닌 n으로 나눈다면 어떨까요?
우선 아래 확률변수의 분산식을 이용하여 $E(X^2)$을 정의하고 가겠습니다.

$$
Var(X) = E(X^2)-E(X)^2
\\ E(X^2) = Var(X) +E(X)^2
$$

자 그럼 표본 분산의 기댓값을 봅시다.

$$
\begin{align}
E(s^2) &= E(\dfrac{\sum_{i=1}^n(X_i-\bar{X})^2}{n})
\\ &= E(\dfrac{\sum_{i=1}^n(X_i^2 -2X_i\bar{X}+\bar{X}^2)}{n})
\\ &= E(\dfrac{\sum_{i=1}^nX_i^2 -\sum_{i=1}^n2X_i\bar{X}+\sum_{i=1}^n\bar{X}^2}{n})
\\ &= E(\dfrac{\sum_{i=1}^nX_i^2 -2n\bar{X}^2+n{X}^2}{n})
\\ &= \dfrac{\sum_{i=1}^nE(X_i^2) - nE({X}^2)}{n} = \dfrac{1}{n}\sum_{i=1}^nE(X_i^2) - E({X}^2)
\\ &= \dfrac{1}{n}\sum_{i=1}^n(\sigma^2 + \mu^2) -(\dfrac{\sigma^2}{n})-\mu^2 = \dfrac{1}{n}\times n \times (\sigma^2+\mu^2) -(\dfrac{\sigma^2}{n}+\mu^2)
\\ &= \dfrac{(n-1)\sigma^2}{n}
\end{align}
$$

결국 $E(s^2) =\dfrac{(n-1)\sigma^2}{n}$ 이기 때문에 불편추정량이 되지 못합니다.

 

n-1로 나눌 때

위 식에서 분모의 n 대신 n-1을 넣어준다면

$$
E(s^2) = \dfrac{(n-1)\sigma^2}{n-1} = \sigma^2
$$

이렇게 불편추정량이 됨을 볼 수 있습니다.