연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 21강

표본평균 복습

평균 μ\mu, 분산 σ2\sigma^2인 모집단에서 IID sample X1,…,XnX_1,\ldots,X_n을 얻었다고 하자. Sample mean은 다음과 같다.

X‾=1n∑i=1nXi\overline{X} = \frac{1}{n}\sum_{i=1}^{n}X_i

표본평균의 평균과 분산은 다음과 같다.

E[X‾]=μ,Var⁡(X‾)=σ2nE[\overline{X}]=\mu, \qquad \operatorname{Var}(\overline{X}) = \frac{\sigma^2}{n}

모집단이 normal distribution이면 X‾\overline{X}도 표본 수에 관계없이 정확히 normal distribution이다. 일반적인 모집단에서는 적절한 조건 아래 nn이 커질수록 중심극한정리에 의해 normal distribution으로 근사된다.

X‾≈N(μ,σ2n)\overline{X} \approx \mathcal{N}\left( \mu, \frac{\sigma^2}{n} \right)

표본 수가 증가하면 standard error σ/n\sigma/\sqrt{n}이 작아져 표본평균이 모평균 주변에 더 모인다.

분모가 n인 표본분산

모분산 σ2\sigma^2도 표본으로 추정해야 한다. 먼저 표본값과 표본평균 사이의 제곱 편차를 nn으로 나눈 값을 생각한다.

Sn2=1n∑i=1n(Xi−X‾)2S_n^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i-\overline{X})^2

제곱 편차에 모평균 μ\mu를 더하고 빼면 다음 identity를 얻는다.

∑i=1n(Xi−X‾)2=∑i=1n(Xi−μ)2−n(X‾−μ)2\sum_{i=1}^{n} (X_i-\overline{X})^2 = \sum_{i=1}^{n} (X_i-\mu)^2 -n(\overline{X}-\mu)^2

양변을 nn으로 나누고 기댓값을 취한다.

E[Sn2]=1n∑i=1nE[(Xi−μ)2]−E[(X‾−μ)2]=σ2−σ2n=n−1nσ2\begin{aligned} E[S_n^2] &= \frac{1}{n} \sum_{i=1}^{n} E[(X_i-\mu)^2] -E[(\overline{X}-\mu)^2] \\ &= \sigma^2-\frac{\sigma^2}{n} \\ &= \frac{n-1}{n}\sigma^2 \end{aligned}

Sn2S_n^2의 평균은 모분산보다 작다. 같은 표본으로 구한 X‾\overline{X}에 맞춰 편차를 계산하면서 변동의 일부를 이미 사용했기 때문이다.

불편표본분산

Bias를 보정하기 위해 분모를 n−1n-1로 바꾼다.

S2=1n−1∑i=1n(Xi−X‾)2S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i-\overline{X})^2

이때 기댓값은 모분산과 정확히 같다.

E[S2]=σ2E[S^2]=\sigma^2

따라서 S2S^2은 모분산의 unbiased estimator이다. 표본편차들은 다음 제약을 만족한다.

∑i=1n(Xi−X‾)=0\sum_{i=1}^{n}(X_i-\overline{X})=0

마지막 편차는 앞의 n−1n-1개가 정해지면 자동으로 결정되므로 독립적으로 움직일 수 있는 값은 n−1n-1개이다. 이를 degrees of freedom가 n−1n-1이라고 표현하며, 표본분산의 분모가 n−1n-1인 이유와 연결된다.

모평균의 신뢰구간

모분산 σ2\sigma^2을 알고 있고 표본평균을 normal distribution으로 다룰 수 있다면 다음 pivot은 standard normal distribution을 따른다.

Z=X‾−μσ/n∼N(0,1)Z = \frac{ \overline{X}-\mu }{ \sigma/\sqrt{n} } \sim\mathcal{N}(0,1)

양측 confidence level이 1−α1-\alpha일 때 모평균의 confidence interval은 다음과 같다.

x‾±z1−α/2σn\overline{x} \pm z_{1-\alpha/2} \frac{\sigma}{\sqrt{n}}

95% confidence interval에서는 z0.975≈1.96z_{0.975}\approx1.96을 사용한다.

Confidence level 95%는 계산된 한 구간 안에 모평균이 95%의 사후확률로 들어 있다는 뜻이 아니다. 같은 절차로 표본추출과 구간 계산을 반복하면 만들어진 구간 중 약 95%가 고정된 모평균을 포함한다는 의미이다. 또한 제품의 95%가 정상이라는 뜻도 아니다.

Student t distribution

현실에서는 모분산 σ2\sigma^2을 모르는 경우가 많다. Normal population에서 σ\sigma 대신 sample standard deviation SS를 사용하면 다음 statistic이 Student t distribution을 따른다.

T=X‾−μS/n∼tn−1T = \frac{ \overline{X}-\mu }{ S/\sqrt{n} } \sim t_{n-1}

아래첨자 n−1n-1은 degrees of freedom이다. 자유도를 ν\nu라고 할 때 PDF는 다음과 같다.

fT(t)=Γ(ν+12)νπΓ(ν2)(1+t2ν)−(ν+1)/2f_T(t) = \frac{ \Gamma\left(\frac{\nu+1}{2}\right) }{ \sqrt{\nu\pi} \Gamma\left(\frac{\nu}{2}\right) } \left( 1+\frac{t^2}{\nu} \right)^{-(\nu+1)/2}

Γ\Gamma는 factorial을 양의 실수와 복소수로 확장한 gamma function이다.

Γ(a)=∫0∞xa−1e−x dx\Gamma(a) = \int_0^{\infty} x^{a-1}e^{-x}\,dx

Student t distribution은 0을 중심으로 대칭이지만 standard normal distribution보다 tail이 두껍다. 모표준편차 대신 표본표준편차를 사용하면서 생기는 추가 불확실성을 반영한 것이다. 자유도가 커지면 normal distribution에 가까워진다.

tν→dN(0,1)(ν→∞)t_{\nu} \xrightarrow{d} \mathcal{N}(0,1) \qquad (\nu\to\infty)

작은 표본이라는 사실만으로 언제나 t distribution을 사용할 수 있는 것은 아니다. 위의 정확한 결과에는 원래 모집단이 normal distribution이라는 조건이 필요하다. 다만 모집단이 크게 비대칭적이지 않으면 실무에서 어느 정도 robust하게 쓰이기도 한다.

모분산을 모르는 normal population의 평균에 대한 confidence interval은 다음과 같다.

x‾±t1−α/2,n−1Sn\overline{x} \pm t_{1-\alpha/2,n-1} \frac{S}{\sqrt{n}}

Chi-square distribution

Z1,…,ZkZ_1,\ldots,Z_k가 서로 독립인 standard normal random variables라고 하자. 이들의 제곱합은 degrees of freedom가 kk인 chi-square distribution을 따른다.

Q=∑i=1kZi2∼χk2Q = \sum_{i=1}^{k}Z_i^2 \sim\chi_k^2

제곱한 값을 더하므로 QQ는 음수가 될 수 없다. PDF는 다음과 같다.

fQ(q)=12k/2Γ(k/2)qk/2−1e−q/2,q>0f_Q(q) = \frac{1} {2^{k/2}\Gamma(k/2)} q^{k/2-1}e^{-q/2}, \qquad q>0

평균과 분산은 다음과 같다.

E[Q]=k,Var⁡(Q)=2kE[Q]=k, \qquad \operatorname{Var}(Q)=2k

자유도가 작으면 오른쪽으로 치우쳐 있고, 자유도가 커질수록 모양이 점차 대칭적으로 변한다.

표본분산과 Chi-square distribution

모집단이 normal distribution이면 불편표본분산은 chi-square distribution과 직접 연결된다.

(n−1)S2σ2∼χn−12\frac{(n-1)S^2}{\sigma^2} \sim \chi_{n-1}^2

이 관계는 모분산의 confidence interval과 hypothesis test를 만드는 데 사용된다. 양측 confidence level이 1−α1-\alpha일 때 모분산의 confidence interval은 다음과 같다.

[(n−1)S2χ1−α/2,n−12,(n−1)S2χα/2,n−12]\left[ \frac{(n-1)S^2} {\chi^2_{1-\alpha/2,n-1}}, \frac{(n-1)S^2} {\chi^2_{\alpha/2,n-1}} \right]

χp,ν2\chi^2_{p,\nu}는 자유도 ν\nu인 chi-square distribution의 누적확률 pp에 해당하는 quantile이다.

측정 오차가 independent normal distribution으로 모델링된다면 표준화한 오차의 제곱합도 chi-square distribution을 따른다. 따라서 여러 측정값이 기준 위치에서 전체적으로 얼마나 벗어났는지를 확률적으로 판단할 때 사용할 수 있다.

세 분포의 연결

Normal population에서 평균과 분산을 추론할 때 세 분포는 다음처럼 연결된다.

  • 모분산을 알고 있을 때 표준화한 표본평균은 standard normal distribution을 따른다.
  • 모분산을 모르고 SS로 대신할 때 표준화한 표본평균은 Student t distribution을 따른다.
  • 표본분산을 모분산과 비교한 값은 chi-square distribution을 따른다.

Student t statistic은 standard normal random variable을 독립인 chi-square random variable의 제곱근으로 나눈 형태로도 정의된다.

T=ZQ/ν,Z∼N(0,1),Q∼χν2T = \frac{Z}{\sqrt{Q/\nu}}, \qquad Z\sim\mathcal{N}(0,1), \quad Q\sim\chi_{\nu}^2

중요 개념 정리

  • 분모가 nn인 표본분산은 평균적으로 모분산을 작게 추정한다.
  • 분모를 n−1n-1로 둔 S2S^2은 모분산의 unbiased estimator이다.
  • 모분산을 모르는 normal population의 평균을 추론할 때 Student t distribution을 사용한다.
  • Chi-square distribution은 independent standard normal random variables의 제곱합 분포이다.
  • Normal population에서는 (n−1)S2/σ2(n-1)S^2/\sigma^2이 χn−12\chi_{n-1}^2을 따른다.
  • Confidence level은 개별 관측값의 정상 비율이 아니라, 반복된 구간 추정 절차의 coverage를 뜻한다.