연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 8강

1. Poisson 분포 복습

단위 시간당 평균 λ\lambda번 발생하는 사건의 개수를 생각하자. 길이가 tt인 시간 구간에서 발생한 사건의 수를 N(t)N(t)라고 하면 Poisson process에서는 다음 분포를 따른다.

N(t)∼Poisson⁡(λt)N(t)\sim\operatorname{Poisson}(\lambda t)

따라서 길이 tt인 구간에서 사건이 정확히 nn번 발생할 확률은 다음과 같다.

P(N(t)=n)=e−λt(λt)nn!,n=0,1,2,…P(N(t)=n) = e^{-\lambda t}\frac{(\lambda t)^n}{n!}, \qquad n=0,1,2,\ldots

λ\lambda는 단위 시간당 평균 발생 횟수이므로, 관찰 구간이 tt배가 되면 평균 발생 횟수도 λt\lambda t로 바뀐다.

평균과 분산은 모두 λt\lambda t이다.

E[N(t)]=Var⁡(N(t))=λtE[N(t)] = \operatorname{Var}(N(t)) = \lambda t

2. 지수분포

Poisson 분포가 일정 시간 동안 발생한 사건의 개수를 나타낸다면, 지수분포(exponential distribution)는 다음 사건이 발생할 때까지 기다리는 시간을 나타낸다.

대기시간 TT가 rate λ\lambda인 지수분포를 따르면 다음과 같이 쓴다.

T∼Exponential⁡(λ)T\sim\operatorname{Exponential}(\lambda)

PDF는 다음과 같다.

fT(t)={λe−λt,t≥0,0,t<0.f_T(t) = \begin{cases} \lambda e^{-\lambda t}, & t\ge0,\\ 0, & t<0. \end{cases}

CDF는 PDF를 0부터 tt까지 적분하여 구한다.

FT(t)=P(T≤t)=1−e−λt,t≥0F_T(t) = P(T\le t) = 1-e^{-\lambda t}, \qquad t\ge0

TT를 어떤 장치의 수명으로 해석하면 FT(t)F_T(t)는 장치가 시간 tt 이내에 고장날 확률이다. 시간 tt 이후까지 살아 있을 확률은 survival function으로 나타낸다.

ST(t)=P(T>t)=1−FT(t)=e−λtS_T(t) = P(T>t) = 1-F_T(t) = e^{-\lambda t}

평균과 분산은 다음과 같다.

E[T]=1λE[T] = \frac{1}{\lambda} Var⁡(T)=1λ2\operatorname{Var}(T) = \frac{1}{\lambda^2}

Rate λ\lambda가 클수록 사건이 자주 발생하므로 평균 대기시간은 짧아진다.

3. 지수분포의 memoryless 성질

장치가 이미 시간 tt까지 고장 나지 않았다고 하자. 이 조건에서 추가로 시간 ss보다 더 오래 생존할 확률은 다음과 같다.

P(T>t+s∣T>t)P(T>t+s\mid T>t)

조건부 확률의 정의를 적용하면 다음과 같다.

P(T>t+s∣T>t)=P(T>t+s)P(T>t)P(T>t+s\mid T>t) = \frac{P(T>t+s)}{P(T>t)}

지수분포의 survival function을 대입한다.

P(T>t+s∣T>t)=e−λ(t+s)e−λt=e−λs=P(T>s)\begin{aligned} P(T>t+s\mid T>t) &=\frac{e^{-\lambda(t+s)}}{e^{-\lambda t}}\\ &=e^{-\lambda s}\\ &=P(T>s) \end{aligned}

최종 결과에는 이미 지나온 시간 tt가 남지 않는다. 즉 지금까지 얼마나 오래 생존했는지와 관계없이, 지금부터 추가로 기다려야 하는 시간은 원래와 같은 지수분포를 따른다.

P(T>t+s∣T>t)=P(T>s)P(T>t+s\mid T>t) = P(T>s)

이 성질은 이산 확률분포인 geometric 분포의 memoryless 성질과 대응된다. 다만 사용 기간이 길어질수록 고장률이 증가하는 실제 장비처럼 수명에 따라 위험도가 달라지는 대상은 지수분포가 적절하지 않을 수 있다.

4. Poisson 분포와 지수분포의 관계

Poisson process에서 첫 번째 사건이 발생할 때까지의 시간을 T1T_1이라고 하자. T1>tT_1>t라는 것은 시간 tt까지 사건이 한 번도 발생하지 않았다는 뜻이다.

{T1>t}={N(t)=0}\{T_1>t\} = \{N(t)=0\}

Poisson 분포에서 사건이 0번 발생할 확률은 다음과 같다.

P(N(t)=0)=e−λtP(N(t)=0) = e^{-\lambda t}

따라서 첫 사건까지의 대기시간에 대한 survival function은 다음과 같다.

P(T1>t)=e−λtP(T_1>t) = e^{-\lambda t}

CDF로 바꾸면 다음과 같다.

P(T1≤t)=1−P(T1>t)=1−e−λt\begin{aligned} P(T_1\le t) &=1-P(T_1>t)\\ &=1-e^{-\lambda t} \end{aligned}

이는 rate λ\lambda인 지수분포의 CDF이다.

T1∼Exponential⁡(λ)T_1\sim\operatorname{Exponential}(\lambda)

같은 논리가 연속해서 발생하는 사건들 사이의 시간 간격에도 적용된다. 정리하면 다음과 같다.

  • 길이 tt인 구간에서 발생한 사건의 개수 N(t)N(t)는 Poisson 분포를 따른다.
  • 인접한 두 사건 사이의 대기시간은 지수분포를 따른다.
  • 두 분포는 같은 rate λ\lambda를 공유한다.

5. Erlang 분포

Poisson process에서 한 사건까지의 대기시간은 지수분포를 따른다. 첫 번째 사건부터 kk번째 사건이 발생할 때까지의 전체 대기시간은 서로 독립인 지수 확률변수 kk개의 합이다.

Tk=X1+X2+⋯+XkT_k = X_1+X_2+\cdots+X_k

각 XiX_i가 같은 rate λ\lambda인 지수분포를 따르면 TkT_k는 Erlang 분포를 따른다.

Tk∼Erlang⁡(k,λ)T_k\sim\operatorname{Erlang}(k,\lambda)

kk는 몇 번째 사건까지 기다리는지를 나타내는 양의 정수이고, λ\lambda는 각 사건의 발생 rate이다.

5.1 PDF

Erlang 분포의 PDF는 다음과 같다.

fTk(t)={λktk−1e−λt(k−1)!,t≥0,0,t<0.f_{T_k}(t) = \begin{cases} \dfrac{\lambda^k t^{k-1}e^{-\lambda t}}{(k-1)!}, & t\ge0,\\ 0, & t<0. \end{cases}

k=1k=1을 대입하면 지수분포의 PDF가 된다.

fT1(t)=λe−λtf_{T_1}(t) = \lambda e^{-\lambda t}

5.2 CDF

PDF를 적분하면 다음 CDF를 얻는다.

FTk(t)=1−e−λt∑n=0k−1(λt)nn!,t≥0F_{T_k}(t) = 1-e^{-\lambda t} \sum_{n=0}^{k-1}\frac{(\lambda t)^n}{n!}, \qquad t\ge0

이 식은 시간 tt까지 적어도 kk개의 사건이 발생할 확률과도 같다.

P(Tk≤t)=P(N(t)≥k)P(T_k\le t) = P(N(t)\ge k)

5.3 평균과 분산

독립인 확률변수의 합에 대해 기댓값과 분산을 더할 수 있다. 각 지수 확률변수의 평균과 분산을 이용하면 다음과 같다.

E[Tk]=∑i=1kE[Xi]=kλE[T_k] = \sum_{i=1}^{k}E[X_i] = \frac{k}{\lambda} Var⁡(Tk)=∑i=1kVar⁡(Xi)=kλ2\operatorname{Var}(T_k) = \sum_{i=1}^{k}\operatorname{Var}(X_i) = \frac{k}{\lambda^2}

즉 평균 대기시간 1/λ1/\lambda인 구간을 kk개 더했으므로 전체 평균은 k/λk/\lambda가 된다.

6. Gamma function

Erlang 분포의 평균과 모멘트를 적분으로 계산할 때 Gamma function이 나타난다. Gamma function은 다음과 같이 정의한다.

Γ(α)=∫0∞uα−1e−u du,α>0\Gamma(\alpha) = \int_0^{\infty}u^{\alpha-1}e^{-u}\,du, \qquad \alpha>0

양의 정수 kk에 대해서는 부분적분을 반복하여 다음 관계를 얻는다.

Γ(k+1)=k!\Gamma(k+1) = k!

Erlang 분포의 평균을 직접 계산할 때 u=λtu=\lambda t로 치환하면 다음과 같은 Gamma integral이 생긴다.

E[Tk]=1λ(k−1)!∫0∞uke−u duE[T_k] = \frac{1}{\lambda(k-1)!} \int_0^{\infty}u^k e^{-u}\,du

Gamma function의 관계를 적용하면 다음 결과를 얻는다.

E[Tk]=Γ(k+1)λ(k−1)!=kλE[T_k] = \frac{\Gamma(k+1)}{\lambda(k-1)!} = \frac{k}{\lambda}

Erlang 분포는 shape parameter가 양의 정수인 Gamma 분포의 특수한 경우이다.

7. 균등분포와 quantization error

X∼U(a,b)X\sim U(a,b)이면 평균과 분산은 다음과 같다.

E[X]=a+b2E[X] = \frac{a+b}{2} Var⁡(X)=(b−a)212\operatorname{Var}(X) = \frac{(b-a)^2}{12}

Quantization에서는 연속적인 값을 간격 Δ\Delta인 level에 대응시킨다. 가장 가까운 level로 반올림한다고 할 때 quantization error EqE_q는 보통 다음 구간의 균등분포로 모델링한다.

Eq∼U(−Δ2,Δ2)E_q \sim U\left(-\frac{\Delta}{2},\frac{\Delta}{2}\right)

평균은 0이다.

E[Eq]=0E[E_q]=0

분산은 다음과 같다.

Var⁡(Eq)=Δ212\operatorname{Var}(E_q) = \frac{\Delta^2}{12}

평균이 0인 noise에서는 분산이 평균적인 noise power에 해당한다. 따라서 Δ\Delta가 커질수록 quantization noise power는 제곱에 비례해 증가한다.

7.1 Signal-to-noise ratio

Signal의 평균 power를 PsP_s, noise의 평균 power를 PnP_n이라고 하면 signal-to-noise ratio(SNR)는 다음과 같다.

SNR⁡=PsPn\operatorname{SNR} = \frac{P_s}{P_n}

Decibel 단위로는 다음과 같이 표현한다.

SNR⁡dB=10log⁡10(PsPn)\operatorname{SNR}_{\mathrm{dB}} = 10\log_{10}\left(\frac{P_s}{P_n}\right)

Quantization noise만 고려하면 Pn=Δ2/12P_n=\Delta^2/12로 볼 수 있다. Quantization 간격을 줄이면 noise power가 작아져 SNR이 높아지지만, 더 많은 level과 bit가 필요하다.

중요 개념 정리

  • 지수분포의 CDF는 시간 tt 이내에 사건이 발생할 확률이고, survival function은 시간 tt 이후까지 기다릴 확률이다.
  • 지수분포는 이전까지 기다린 시간을 기억하지 않는 memoryless 성질을 갖는다.
  • Poisson process에서 구간 안의 사건 수는 Poisson 분포를, 사건 사이의 시간은 지수분포를 따른다.
  • kk번째 사건까지의 대기시간은 지수 확률변수 kk개의 합이며 Erlang 분포를 따른다.
  • Erlang 분포의 평균은 k/λk/\lambda, 분산은 k/λ2k/\lambda^2이다.
  • Quantization error를 균등분포로 모델링하면 평균은 0이고 분산은 Δ2/12\Delta^2/12이다.