연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 9강

1. 정규분포

정규분포(normal distribution)는 Gaussian 분포라고도 하며, 연속 확률변수를 모델링할 때 가장 널리 사용되는 분포 중 하나이다. 측정오차나 여러 작은 요인의 합으로 생기는 noise를 나타낼 때 자주 사용한다.

평균이 $\mu$이고 분산이 $\sigma^2$인 정규분포는 다음과 같이 쓴다.

$$X\sim\mathcal{N}(\mu,\sigma^2)$$

PDF는 다음과 같다.

$$f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left( -\frac{(x-\mu)^2}{2\sigma^2} \right), \qquad -\infty<x<\infty$$

$\mu$는 분포의 중심을 정하고, $\sigma$는 평균 주변으로 퍼지는 정도를 정한다.

• 그래프는 평균 $\mu$를 기준으로 좌우 대칭이다.
• 평균, 중앙값, 최빈값이 모두 $\mu$이다.
• $\sigma$가 크면 곡선이 넓고 낮아지며, $\sigma$가 작으면 좁고 높아진다.
• PDF 아래의 전체 면적은 1이다.

$$\int_{-\infty}^{\infty}f_X(x)\,dx=1$$

1.1 Noise와 분산

신호 $S$에 평균이 0인 Gaussian noise $N$이 더해진 관측값을 생각하자.

$$Y=S+N$$ $$N\sim\mathcal{N}(0,\sigma_N^2)$$

Noise의 분산 $\sigma_N^2$이 크면 평균 0에서 멀리 떨어진 noise 값이 나타날 가능성이 상대적으로 커진다. 따라서 관측 신호가 원래 신호에서 더 크게 흔들린다. 같은 signal power를 기준으로 보면 noise variance가 작을수록 원래 신호에 더 충실한 관측값을 얻는다.

---

2. Gaussian PDF의 전체 면적

정규분포의 PDF가 실제 확률밀도함수가 되려면 전체 적분이 1이어야 한다. 표준정규분포에서 필요한 적분은 다음과 같다.

$$I = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty}e^{-x^2/2}\,dx$$

$e^{-x^2/2}$은 초등함수만으로 부정적분을 표현하기 어렵다. 대신 정적분 $I$를 제곱하여 이중적분으로 바꾼다.

$$I^2 = \frac{1}{2\pi} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} e^{-(x^2+y^2)/2}\,dx\,dy$$

직교좌표 $(x,y)$를 극좌표 $(r,\theta)$로 변환한다.

$$x=r\cos\theta, \qquad y=r\sin\theta$$

이때 다음 관계가 성립한다.

$$x^2+y^2=r^2$$

면적 요소를 변환할 때는 Jacobian determinant의 절댓값이 필요하다.

$$\left| \frac{\partial(x,y)}{\partial(r,\theta)} \right| = \left| \begin{matrix} \cos\theta & -r\sin\theta\\ \sin\theta & r\cos\theta \end{matrix} \right| = r$$

따라서 면적 요소는 다음과 같이 바뀐다.

$$dx\,dy = r\,dr\,d\theta$$

적분 구간은 $0\le r<\infty$, $0\le\theta<2\pi$가 된다.

$$\begin{aligned} I^2 &=\frac{1}{2\pi} \int_0^{2\pi} \int_0^{\infty} e^{-r^2/2}r\,dr\,d\theta\\ &=\int_0^{\infty}e^{-r^2/2}r\,dr\\ &=1 \end{aligned}$$

$I$는 양수이므로 다음 결과를 얻는다.

$$I=1$$

즉 표준정규분포 PDF의 전체 면적은 1이다. 극좌표에서 $r$이 추가로 곱해지는 이유는 반지름이 커질수록 같은 각도 변화 $d\theta$가 만드는 호의 길이가 $r$배 커지기 때문이다.

---

3. 표준정규분포

평균이 0이고 분산이 1인 정규분포를 표준정규분포(standard normal distribution)라고 한다.

$$Z\sim\mathcal{N}(0,1)$$

PDF는 다음과 같다.

$$\phi(z) = \frac{1}{\sqrt{2\pi}}e^{-z^2/2}$$

CDF는 보통 $\Phi(z)$로 나타낸다.

$$\Phi(z) = P(Z\le z) = \int_{-\infty}^{z}\phi(t)\,dt$$

이 적분은 초등함수 형태로 간단히 표현되지 않으므로 표, 수치계산 함수 또는 software library를 사용한다.

3.1 표준화

일반적인 정규 확률변수 $X\sim\mathcal{N}(\mu,\sigma^2)$는 다음 변환을 통해 표준정규 확률변수로 바꿀 수 있다.

$$Z = \frac{X-\mu}{\sigma}$$

따라서 구간 확률은 다음과 같이 계산한다.

$$P(a\le X\le b) = P\left( \frac{a-\mu}{\sigma} \le Z\le \frac{b-\mu}{\sigma} \right)$$

표준정규 CDF를 사용하면 다음과 같다.

$$P(a\le X\le b) = \Phi\left(\frac{b-\mu}{\sigma}\right) - \Phi\left(\frac{a-\mu}{\sigma}\right)$$

3.2 대칭성

표준정규분포는 0을 기준으로 좌우 대칭이므로 다음 관계가 성립한다.

$$\Phi(-z) = 1-\Phi(z)$$

또한 0부터 양수 $z$까지의 면적은 다음과 같다.

$$P(0\le Z\le z) = \Phi(z)-\frac{1}{2}$$

---

4. Binomial 분포의 정규근사

Binomial 확률변수는 다음 평균과 분산을 갖는다.

$$X\sim\operatorname{Binomial}(n,p)$$ $$E[X]=np, \qquad \operatorname{Var}(X)=np(1-p)$$

$n$이 충분히 크면 binomial PMF의 모양은 평균 $np$를 중심으로 정규분포에 가까워진다. 따라서 다음과 같이 근사할 수 있다.

$$X \approx Y, \qquad Y\sim\mathcal{N}\left(np,np(1-p)\right)$$

보통 $np$와 $n(1-p)$가 모두 충분히 클 때 근사가 잘 맞는다. 교재마다 기준은 조금 다르지만 둘 다 5 또는 10 이상인지 확인하는 방법을 자주 사용한다.

4.1 Continuity correction

Binomial 분포는 정숫값만 갖고 정규분포는 연속적인 값을 가지므로, 구간 경계를 $0.5$만큼 넓히는 continuity correction을 적용하면 근사가 더 정확해진다.

$$P(a\le X\le b) \approx P(a-0.5<Y<b+0.5)$$

$Y$를 표준화하면 다음과 같다.

$$P(a\le X\le b) \approx \Phi\left( \frac{b+0.5-np}{\sqrt{np(1-p)}} \right) - \Phi\left( \frac{a-0.5-np}{\sqrt{np(1-p)}} \right)$$

큰 $n$에서 여러 factorial과 확률 항을 직접 합하는 대신 표준정규 CDF로 확률을 근사할 수 있다는 장점이 있다.

---

5. Error function

Gaussian 적분과 관련하여 error function을 다음과 같이 정의한다.

$$\operatorname{erf}(x) = \frac{2}{\sqrt{\pi}} \int_0^x e^{-t^2}\,dt$$

Complementary error function은 다음과 같다.

$$\operatorname{erfc}(x) = \frac{2}{\sqrt{\pi}} \int_x^{\infty}e^{-t^2}\,dt$$

두 함수의 합은 1이다.

$$\operatorname{erf}(x) + \operatorname{erfc}(x) = 1$$

표준정규 CDF와 error function 사이에는 다음 관계가 있다.

$$\Phi(x) = \frac{1}{2} \left[ 1+\operatorname{erf}\left(\frac{x}{\sqrt{2}}\right) \right]$$

Error function은 Gaussian noise가 등장하는 통신·신호처리 문제의 오류확률을 표현할 때 자주 사용한다.

---

6. Gaussian mixture

정규분포 하나는 평균 주변에 하나의 peak를 갖는 unimodal 분포이다. 실제 데이터의 PDF에 peak가 여러 개 있다면 정규분포 하나로는 충분히 표현하기 어렵다.

Gaussian mixture model(GMM)은 서로 다른 평균과 분산을 갖는 여러 Gaussian PDF를 가중합한다.

$$p(x) = \sum_{j=1}^{M}\pi_j \mathcal{N}(x\mid\mu_j,\sigma_j^2)$$

$M$은 component의 수이고, $\pi_j$는 각 component의 mixing weight이다. 확률밀도함수가 되기 위해 다음 조건을 만족해야 한다.

$$\pi_j\ge0, \qquad \sum_{j=1}^{M}\pi_j=1$$

각 Gaussian component는 하나의 mode나 데이터 집단을 나타낼 수 있으며, 이를 합쳐 multimodal 분포를 근사한다.

---

7. Pascal 분포

Pascal 분포는 negative binomial 분포라고도 한다. 성공 확률이 $p$인 독립적인 Bernoulli trial을 반복하여, $k$번째 성공이 나올 때까지 수행한 전체 시행 횟수를 $N$이라고 하자.

$N=n$이 되려면 앞의 $n-1$번 시행에서 정확히 $k-1$번 성공하고 마지막 $n$번째 시행에서 성공해야 한다. 따라서 PMF는 다음과 같다.

$$P(N=n) = \binom{n-1}{k-1} p^k(1-p)^{n-k}, \qquad n=k,k+1,\ldots$$

$k=1$이면 첫 성공까지의 시행 횟수를 나타내므로 geometric 분포가 된다.

$$P(N=n) = p(1-p)^{n-1}$$

7.1 평균과 분산

$k$번째 성공까지의 전체 시행 횟수는 첫 성공까지 걸린 독립적인 geometric 확률변수 $k$개의 합으로 볼 수 있다.

$$N=G_1+G_2+\cdots+G_k$$

각 $G_i$의 평균과 분산은 다음과 같다.

$$E[G_i]=\frac{1}{p}, \qquad \operatorname{Var}(G_i)=\frac{1-p}{p^2}$$

따라서 Pascal 분포의 평균과 분산은 다음과 같다.

$$E[N] = \frac{k}{p}$$ $$\operatorname{Var}(N) = \frac{k(1-p)}{p^2}$$

Pascal 분포는 geometric 분포를 $k$번째 성공까지로 일반화한 이산 분포이고, Erlang 분포는 지수분포를 $k$번째 사건까지의 대기시간으로 일반화한 연속 분포라는 대응 관계가 있다.

---

중요 개념 정리

• 정규분포는 평균 $\mu$를 중심으로 대칭이며 분산 $\sigma^2$이 퍼짐의 정도를 결정한다.
• $Z=(X-\mu)/\sigma$로 표준화하면 임의의 정규분포 확률을 표준정규 CDF로 계산할 수 있다.
• Gaussian integral은 적분을 제곱하고 극좌표로 바꾸어 계산하며, 좌표변환에는 Jacobian이 필요하다.
• $n$이 충분히 큰 binomial 분포는 평균 $np$, 분산 $np(1-p)$인 정규분포로 근사할 수 있다.
• Gaussian mixture는 여러 정규분포의 가중합으로 multimodal 분포를 표현한다.
• Pascal 분포는 $k$번째 성공까지의 시행 횟수이며, $k=1$일 때 geometric 분포가 된다.