연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 5강

1. 확률분포의 평균

여러 관측값 x1,x2,…,xnx_1,x_2,\ldots,x_n의 산술평균은 다음과 같다.

xˉ=1n∑i=1nxi\bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_i

각 값이 등장한 상대도수를 확률로 해석하면 평균은 각 값에 확률을 곱해 더한 형태가 된다. 확률변수의 이러한 평균을 기댓값(expectation)이라고 한다.

기댓값은 한 번의 실험에서 반드시 나오는 값을 뜻하지 않는다. 같은 확률 실험을 많이 반복했을 때 관측되는 장기적인 평균을 나타낸다.

2. 기댓값

2.1 이산 확률변수

이산 확률변수 XX가 값 xix_i를 확률 pX(xi)p_X(x_i)로 가질 때 기댓값은 다음과 같다.

E[X]=∑ixipX(xi)E[X] = \sum_i x_i p_X(x_i)

모든 가능한 값에 그 값이 나올 확률을 가중치로 곱한 가중평균이다.

2.2 연속 확률변수

연속 확률변수에서는 합 대신 적분을 사용한다.

E[X]=∫−∞∞xfX(x) dxE[X] = \int_{-\infty}^{\infty}x f_X(x)\,dx

fX(x)f_X(x)는 확률밀도함수이다. 짧은 구간마다 xx에 그 구간의 확률을 곱해 모두 더한다는 의미이다.

2.3 확률변수의 함수에 대한 기댓값

Y=g(X)Y=g(X)일 때 YY의 분포를 따로 구하지 않고 다음과 같이 기댓값을 계산할 수 있다.

이산 확률변수에서는 다음과 같다.

E[g(X)]=∑ig(xi)pX(xi)E[g(X)] = \sum_i g(x_i)p_X(x_i)

연속 확률변수에서는 다음과 같다.

E[g(X)]=∫−∞∞g(x)fX(x) dxE[g(X)] = \int_{-\infty}^{\infty}g(x)f_X(x)\,dx

3. Poisson 분포

Poisson 분포는 일정한 시간이나 공간 안에서 어떤 사건이 발생한 횟수를 모델링할 때 사용한다. 일정 시간 동안 은행에 도착한 고객 수, 서버에 들어온 packet 수와 같은 경우가 예이다.

단위 구간에서 평균적으로 사건이 λ\lambda번 발생한다고 하자. 발생 횟수 KK가 Poisson 분포를 따르면 다음과 같이 쓴다.

K∼Poisson⁡(λ)K\sim\operatorname{Poisson}(\lambda)

확률질량함수는 다음과 같다.

P(K=k)=e−λλkk!,k=0,1,2,…P(K=k) = e^{-\lambda}\frac{\lambda^k}{k!}, \qquad k=0,1,2,\ldots

λ\lambda는 양수이며 단위 구간에서의 평균 발생 횟수를 나타낸다.

3.1 전체 확률이 1인지 확인

지수함수의 Taylor series는 다음과 같다.

eλ=∑k=0∞λkk!e^\lambda = \sum_{k=0}^{\infty}\frac{\lambda^k}{k!}

이를 이용하면 Poisson 확률질량함수의 합이 1임을 확인할 수 있다.

∑k=0∞P(K=k)=e−λ∑k=0∞λkk!=e−λeλ=1\sum_{k=0}^{\infty}P(K=k) = e^{-\lambda} \sum_{k=0}^{\infty}\frac{\lambda^k}{k!} = e^{-\lambda}e^\lambda = 1

3.2 Poisson 분포의 평균

기댓값의 정의를 적용하면 다음과 같다.

E[K]=∑k=0∞ke−λλkk!E[K] = \sum_{k=0}^{\infty} k e^{-\lambda}\frac{\lambda^k}{k!}

k=0k=0인 항은 0이므로 합을 1부터 시작하고, k/k!=1/(k−1)!k/k!=1/(k-1)!을 이용한다.

E[K]=e−λ∑k=1∞λk(k−1)!E[K] = e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^k}{(k-1)!}

j=k−1j=k-1로 두면 다음과 같이 정리된다.

E[K]=λe−λ∑j=0∞λjj!=λE[K] = \lambda e^{-\lambda} \sum_{j=0}^{\infty} \frac{\lambda^j}{j!} = \lambda

따라서 Poisson 분포에서 parameter λ\lambda는 실제로 평균 발생 횟수이다.

4. Exponential 분포

Poisson 분포가 일정 구간 안의 사건 발생 횟수를 나타낸다면, exponential 분포는 사건과 사건 사이의 대기시간을 모델링할 때 자주 사용한다.

XX가 rate λ\lambda인 exponential 분포를 따르면 다음과 같이 쓴다.

X∼Exponential⁡(λ)X\sim\operatorname{Exponential}(\lambda)

확률밀도함수는 다음과 같다.

fX(x)={λe−λx,x≥0,0,x<0.f_X(x) = \begin{cases} \lambda e^{-\lambda x}, & x\ge0,\\ 0, & x<0. \end{cases}

평균 대기시간은 rate의 역수이다.

E[X]=1λE[X] = \frac{1}{\lambda}

사건이 자주 발생하여 λ\lambda가 크면 평균 대기시간은 짧아지고, 드물게 발생하여 λ\lambda가 작으면 평균 대기시간은 길어진다.

5. 모멘트

확률변수의 분포를 수치로 요약하는 대표적인 방법이 모멘트(moment)이다.

5.1 원점에 대한 모멘트

nn차 모멘트는 다음과 같이 정의한다.

E[Xn]E[X^n]

1차 모멘트는 평균이다.

E[X]=μE[X]=\mu

2차 모멘트는 X2X^2의 평균이다.

E[X2]E[X^2]

5.2 중심 모멘트

평균 μ=E[X]\mu=E[X]를 기준으로 한 nn차 중심 모멘트(central moment)는 다음과 같다.

E[(X−μ)n]E[(X-\mu)^n]

1차 중심 모멘트는 항상 0이다.

E[X−μ]=E[X]−μ=0E[X-\mu] = E[X]-\mu = 0

2차 중심 모멘트가 분산이다.

6. 분산과 표준편차

분산(variance)은 확률변수가 평균에서 얼마나 퍼져 있는지를 나타낸다.

Var⁡(X)=E[(X−μ)2]=σ2\operatorname{Var}(X) = E[(X-\mu)^2] = \sigma^2

분산이 작으면 값들이 평균 주변에 비교적 모여 있고, 분산이 크면 더 넓게 퍼져 있다. 평균만으로는 분포의 퍼짐을 알 수 없으므로 평균과 분산을 함께 보는 것이 중요하다.

표준편차(standard deviation)는 분산의 제곱근이다.

σ=Var⁡(X)\sigma = \sqrt{\operatorname{Var}(X)}

분산은 원래 단위의 제곱을 사용하지만 표준편차는 XX와 같은 단위를 사용한다.

6.1 계산에 편리한 분산 공식

제곱을 전개하고 기댓값의 선형성을 사용하면 다음 식을 얻는다.

Var⁡(X)=E[X2]−(E[X])2\operatorname{Var}(X) = E[X^2]-\bigl(E[X]\bigr)^2

유도 과정은 다음과 같다.

Var⁡(X)=E[(X−μ)2]=E[X2−2μX+μ2]=E[X2]−2μE[X]+μ2=E[X2]−μ2\begin{aligned} \operatorname{Var}(X) &=E[(X-\mu)^2]\\ &=E[X^2-2\mu X+\mu^2]\\ &=E[X^2]-2\mu E[X]+\mu^2\\ &=E[X^2]-\mu^2 \end{aligned}

데이터를 직접 계산할 때도 XX와 X2X^2의 합을 한 번에 누적할 수 있어 이 형태가 편리하다. 다만 부동소수점 계산에서는 두 큰 값의 차를 구하면서 정밀도가 떨어질 수 있으므로, 실제 구현에서는 수치적으로 안정적인 분산 알고리즘을 사용하기도 한다.

7. 기댓값의 선형성

기댓값은 선형 연산이다. 상수 a,ba,b와 함수 g1,g2g_1,g_2에 대해 다음 관계가 성립한다.

E[ag1(X)+bg2(X)]=aE[g1(X)]+bE[g2(X)]E\left[a g_1(X)+b g_2(X)\right] = aE[g_1(X)]+bE[g_2(X)]

특히 확률변수의 선형변환에서는 다음과 같다.

E[aX+b]=aE[X]+bE[aX+b] = aE[X]+b

상수의 기댓값은 그 상수 자체이다.

E[b]=bE[b]=b

여러 확률변수의 합에 대해서도 서로 독립인지와 관계없이 다음 식이 성립한다.

E[X+Y]=E[X]+E[Y]E[X+Y] = E[X]+E[Y]

독립성은 분산이나 곱의 기댓값을 다룰 때 중요하지만, 합의 기댓값에 대한 선형성에는 필요하지 않다.

8. Poisson 분포의 분산

Poisson 분포의 분산을 구하려면 먼저 E[K2]E[K^2]을 계산한다. K2K^2을 다음과 같이 나누면 factorial과 결합하기 쉬워진다.

K2=K(K−1)+KK^2 = K(K-1)+K

Poisson 분포에서 다음 두 기댓값을 얻을 수 있다.

E[K(K−1)]=λ2E[K(K-1)] = \lambda^2 E[K]=λE[K] = \lambda

따라서 2차 모멘트는 다음과 같다.

E[K2]=λ2+λE[K^2] = \lambda^2+\lambda

분산 공식에 대입하면 다음 결과를 얻는다.

Var⁡(K)=E[K2]−(E[K])2=(λ2+λ)−λ2=λ\begin{aligned} \operatorname{Var}(K) &=E[K^2]-\bigl(E[K]\bigr)^2\\ &=(\lambda^2+\lambda)-\lambda^2\\ &=\lambda \end{aligned}

Poisson 분포는 평균과 분산이 모두 λ\lambda라는 특징을 가진다.

E[K]=Var⁡(K)=λE[K] = \operatorname{Var}(K) = \lambda

중요 개념 정리

  • 기댓값은 확률을 가중치로 사용한 확률변수의 평균이다.
  • nn차 모멘트는 E[Xn]E[X^n], nn차 중심 모멘트는 E[(X−μ)n]E[(X-\mu)^n]이다.
  • 분산은 2차 중심 모멘트이며 E[X2]−(E[X])2E[X^2]-(E[X])^2으로도 계산할 수 있다.
  • 기댓값은 선형 연산이고, 합의 기댓값에는 독립성이 필요하지 않다.
  • Poisson 분포는 사건의 발생 횟수를 모델링하며 평균과 분산이 모두 λ\lambda이다.
  • Exponential 분포는 사건 사이의 대기시간을 모델링하며 평균은 1/λ1/\lambda이다.