연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 20강

기술통계와 통계적 추론

Descriptive statistics는 관측한 데이터를 평균, 분산, median 같은 값으로 요약한다. 데이터가 어떤 분포에서 나왔는지 완전히 알 수 없더라도 중심과 퍼짐을 간단히 표현할 수 있다.

Statistical inference는 관측한 일부 데이터로 전체 모집단의 알려지지 않은 특성을 추정한다. 대표적인 예는 다음과 같다.

  • Estimation: 모집단의 평균이나 분산 같은 parameter를 추정한다.
  • Prediction: 현재까지의 관측을 이용해 이후에 나타날 값을 예측한다.
  • Hypothesis testing: 관측 결과가 설정한 가정과 양립할 만한지 판단한다.

관측에는 무작위 오차가 포함되므로 추정값도 표본에 따라 달라진다. 같은 평균을 갖는 추정량이라면 분산이 작을수록 반복해서 표본을 뽑았을 때 참값 근처에 더 모인다.

모집단과 표본

Population은 관심 대상 전체이고 sample은 모집단에서 실제로 관측한 일부이다. 하루에 생산한 비누 100만 개의 무게가 모집단이라면, 그중 품질 확인을 위해 고른 100개의 무게가 표본이다.

모집단 전체를 조사하기 어렵기 때문에 표본에서 계산한 값을 이용해 모집단의 특성을 추정한다. 이때 표본이 특정 시간대나 특정 생산라인에 치우치지 않도록 추출 방법을 정해야 한다.

모집단 분포를 따르는 표본을 다음처럼 나타낸다.

X1,X2,…,XnX_1,X_2,\ldots,X_n

각 XiX_i가 서로 independent이고 같은 분포를 따르면 IID(independent and identically distributed) sample이라고 한다.

X1,…,Xn∼iidFX_1,\ldots,X_n\overset{\mathrm{iid}}{\sim}F

복원추출에서는 한 번 뽑은 대상을 되돌려 놓으므로 각 추출의 분포가 변하지 않고 독립성을 확보하기 쉽다. 큰 유한 모집단에서 작은 비율만 비복원추출하는 경우에는 독립으로 근사하기도 하지만, 엄밀히는 추출값들이 서로 dependent이다.

통계량도 확률변수이다

표본으로부터 계산한 함수를 statistic이라고 한다. 표본 자체가 무작위이므로 statistic도 표본을 뽑기 전에는 확률변수이다.

가장 기본적인 statistic은 sample mean이다.

X‾=1n∑i=1nXi\overline{X} = \frac{1}{n} \sum_{i=1}^{n}X_i

실제로 한 번 표본을 뽑아 얻은 관측값을 x1,…,xnx_1,\ldots,x_n이라고 하면 계산된 표본평균은 다음 값이다.

x‾=1n∑i=1nxi\overline{x} = \frac{1}{n} \sum_{i=1}^{n}x_i

X‾\overline{X}는 반복해서 표본을 추출한다고 생각했을 때 달라지는 확률변수이고, x‾\overline{x}는 한 번 관측한 뒤 얻은 실제 값이라는 차이가 있다.

표본평균의 평균

모집단의 평균과 분산을 다음처럼 둔다.

E[Xi]=μ,Var⁡(Xi)=σ2E[X_i]=\mu, \qquad \operatorname{Var}(X_i)=\sigma^2

기댓값의 선형성을 사용하면 표본평균의 평균은 모집단 평균과 같다.

E[X‾]=E[1n∑i=1nXi]=1n∑i=1nE[Xi]=μ\begin{aligned} E[\overline{X}] &= E\left[ \frac{1}{n}\sum_{i=1}^{n}X_i \right] \\ &= \frac{1}{n}\sum_{i=1}^{n}E[X_i] \\ &= \mu \end{aligned}

따라서 X‾\overline{X}는 μ\mu의 unbiased estimator이다. 이는 여러 표본평균을 실제로 다시 평균내야만 추정할 수 있다는 뜻이 아니다. 한 번 얻은 x‾\overline{x}를 추정값으로 사용하되, 같은 과정을 반복했을 때 그 추정값들의 중심이 μ\mu라는 뜻이다.

표본평균의 분산

표본들이 independent이면 서로 다른 두 표본의 covariance가 0이다.

Cov⁡(Xi,Xj)=0,i≠j\operatorname{Cov}(X_i,X_j)=0, \qquad i\ne j

따라서 표본평균의 분산은 다음과 같다.

Var⁡(X‾)=Var⁡(1n∑i=1nXi)=1n2∑i=1nVar⁡(Xi)=σ2n\begin{aligned} \operatorname{Var}(\overline{X}) &= \operatorname{Var}\left( \frac{1}{n}\sum_{i=1}^{n}X_i \right) \\ &= \frac{1}{n^2} \sum_{i=1}^{n}\operatorname{Var}(X_i) \\ &= \frac{\sigma^2}{n} \end{aligned}

표본평균의 표준편차를 standard error라고 한다.

SE⁡(X‾)=σn\operatorname{SE}(\overline{X}) = \frac{\sigma}{\sqrt{n}}

표본 수 nn이 커질수록 표본평균은 모집단 평균 주변에 더 좁게 모인다. 오차의 크기를 절반으로 줄이려면 표본 수는 네 배가 필요하다.

중심극한정리

X1,…,XnX_1,\ldots,X_n이 평균 μ\mu와 유한한 분산 σ2\sigma^2을 갖는 IID 표본이라고 하자. Central Limit Theorem에 따르면 nn이 커질수록 표준화한 표본평균의 분포는 standard normal distribution으로 수렴한다.

X‾−μσ/n→dN(0,1)\frac{ \overline{X}-\mu }{ \sigma/\sqrt{n} } \xrightarrow{d} \mathcal{N}(0,1)

따라서 충분히 큰 nn에서는 다음처럼 근사한다.

X‾≈N(μ,σ2n)\overline{X} \approx \mathcal{N}\left( \mu, \frac{\sigma^2}{n} \right)

원래 모집단이 normal distribution일 필요는 없다. 모집단이 strongly skewed하거나 heavy-tailed이면 더 큰 표본이 필요할 수 있다. 흔히 말하는 n≥30n\ge30은 편의를 위한 경험적 기준이지 모든 분포에 똑같이 적용되는 정리가 아니다.

모집단 자체가 normal distribution이라면 표본 수와 관계없이 표본평균도 정확히 normal distribution이다.

Exponential sample의 예제

X1,…,X36X_1,\ldots,X_{36}이 rate λ=2\lambda=2인 exponential distribution에서 얻은 IID sample이라고 하자.

E[Xi]=1λ=12E[X_i]=\frac{1}{\lambda}=\frac{1}{2} Var⁡(Xi)=1λ2=14\operatorname{Var}(X_i) = \frac{1}{\lambda^2} = \frac{1}{4}

표본평균은 중심극한정리에 따라 다음 분포로 근사할 수 있다.

X‾≈N(12,1144)\overline{X} \approx \mathcal{N}\left( \frac{1}{2}, \frac{1}{144} \right)

표준오차는 1/121/12이다. 다음 확률을 구한다고 하자.

P(14≤X‾≤34)P\left( \frac{1}{4}\le\overline{X}\le\frac{3}{4} \right)

양 끝을 표준화하면 각각 −3-3과 33이 된다.

P(−3≤Z≤3)≈0.9973P\left( -3\le Z\le3 \right) \approx0.9973

개별 exponential sample은 오른쪽으로 치우친 분포이지만 36개 표본의 평균은 1/21/2 주변에 상당히 좁게 모이는 것을 확인할 수 있다.

품질관리와 추론으로의 연결

정상적인 생산 공정에서 표본평균이 어떤 분포를 갖는지 알면, 실제로 관측한 x‾\overline{x}가 평소 범위 안에 있는지 판단할 수 있다. 평균에서 지나치게 먼 값은 정상 상태에서는 발생 확률이 작으므로 공정 변화의 신호로 볼 수 있다.

이 생각은 이후의 confidence interval과 hypothesis testing으로 이어진다. 다만 confidence level과 significance level은 서로 반대 방향의 개념이므로 구분해야 한다. 예를 들어 양측 95% confidence interval은 중앙 확률 0.95를 남기고 양쪽 꼬리에 각각 0.025를 둔다.

중요 개념 정리

  • 표본은 모집단의 특성을 추정하기 위해 관측한 일부이며, 추출 방식이 대표성을 좌우한다.
  • IID 표본은 서로 독립이고 동일한 모집단 분포를 따른다.
  • 표본평균 X‾\overline{X}도 표본을 뽑기 전에는 하나의 확률변수이다.
  • E[X‾]=μE[\overline{X}]=\mu이므로 표본평균은 모평균의 unbiased estimator이다.
  • Var⁡(X‾)=σ2/n\operatorname{Var}(\overline{X})=\sigma^2/n이므로 표본 수가 커질수록 추정값의 변동이 줄어든다.
  • 중심극한정리는 모집단이 정규분포가 아니어도 충분히 큰 표본의 평균을 normal distribution으로 근사할 수 있게 한다.