연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 15강

두 확률변수의 합

두 확률변수 XX, YY를 더해 새로운 확률변수 SS를 만든다.

S=X+YS=X+Y

XX, YY의 결합 PDF를 알고 있을 때 SS의 분포를 구하는 것이 목표이다. 한 확률변수의 변환과 마찬가지로 CDF에서 시작한다.

FS(s)=P(S≤s)=P(X+Y≤s)F_S(s) = P(S\le s) = P(X+Y\le s)

xyxy 평면에서 x+y≤sx+y\le s는 직선 x+y=sx+y=s 아래의 반평면이다. 따라서 이 영역에서 결합 PDF를 적분하면 된다.

FS(s)=∫−∞∞∫−∞s−yfX,Y(x,y) dx dyF_S(s) = \int_{-\infty}^{\infty} \int_{-\infty}^{s-y} f_{X,Y}(x,y)\,dx\,dy

적분 순서를 바꾸면 다음과 같다.

FS(s)=∫−∞∞∫−∞s−xfX,Y(x,y) dy dxF_S(s) = \int_{-\infty}^{\infty} \int_{-\infty}^{s-x} f_{X,Y}(x,y)\,dy\,dx

이 식은 XX와 YY가 dependent인 경우에도 사용할 수 있다. 다만 결합 PDF 자체를 알아야 하므로 각 marginal PDF만으로는 합의 분포를 정할 수 없다.

독립일 때의 Convolution

XX와 YY가 independent이면 결합 PDF가 두 marginal PDF의 곱으로 분리된다.

fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y) = f_X(x)f_Y(y)

이를 CDF 식에 대입하고 ss에 대해 미분하면 다음 결과를 얻는다.

fS(s)=∫−∞∞fX(x)fY(s−x) dxf_S(s) = \int_{-\infty}^{\infty} f_X(x)f_Y(s-x)\,dx

적분 변수의 이름을 바꾸면 다음처럼 쓸 수도 있다.

fS(s)=∫−∞∞fX(s−y)fY(y) dyf_S(s) = \int_{-\infty}^{\infty} f_X(s-y)f_Y(y)\,dy

이 연산이 convolution이다.

fS=fX∗fYf_S = f_X*f_Y

Convolution은 두 함수 중 하나를 뒤집고, ss만큼 이동시킨 뒤, 두 함수가 겹치는 부분을 곱하여 적분하는 연산으로 볼 수 있다. 식의 fY(s−x)f_Y(s-x)에는 다음 두 변화가 함께 들어 있다.

  • fY(−x)f_Y(-x): 가로축 방향으로 뒤집는다.
  • fY(s−x)f_Y(s-x): 뒤집은 함수를 ss만큼 이동한다.

ss가 움직일 때 두 함수가 동시에 0이 아닌 구간을 정확히 찾는 것이 계산의 핵심이다. Convolution은 교환법칙을 만족하므로 어느 함수를 뒤집어도 결과는 같다.

fX∗fY=fY∗fXf_X*f_Y=f_Y*f_X

Uniform distribution의 합

XX와 YY가 독립이고 다음 분포를 따른다고 하자.

X∼U(0,1),Y∼U(0,2)X\sim U(0,1), \qquad Y\sim U(0,2)

각 PDF는 다음과 같다.

fX(x)={1,0≤x≤10,otherwisef_X(x) = \begin{cases} 1, & 0\le x\le1 \\ 0, & \text{otherwise} \end{cases} fY(y)={12,0≤y≤20,otherwisef_Y(y) = \begin{cases} \dfrac{1}{2}, & 0\le y\le2 \\ 0, & \text{otherwise} \end{cases}

S=X+YS=X+Y가 가질 수 있는 범위는 0≤s≤30\le s\le3이다. fX(x)f_X(x)와 fY(s−x)f_Y(s-x)가 겹치는 구간이 ss에 따라 달라지므로 구간을 나누어 계산한다.

fS(s)={0,s<0s2,0≤s<112,1≤s<23−s2,2≤s≤30,s>3f_S(s) = \begin{cases} 0, & s<0 \\ \dfrac{s}{2}, & 0\le s<1 \\ \dfrac{1}{2}, & 1\le s<2 \\ \dfrac{3-s}{2}, & 2\le s\le3 \\ 0, & s>3 \end{cases}

0≤s<10\le s<1에서는 겹치는 길이가 ss만큼 증가한다. 1≤s<21\le s<2에서는 폭이 1인 XX의 support 전체가 겹친다. 2≤s≤32\le s\le3에서는 겹치는 길이가 3−s3-s만큼 감소한다.

Exponential distribution의 합

XX, YY가 서로 독립이고 같은 rate λ\lambda를 갖는 exponential distribution을 따른다고 하자.

fX(x)=λe−λx,x≥0f_X(x)=\lambda e^{-\lambda x}, \qquad x\ge0 fY(y)=λe−λy,y≥0f_Y(y)=\lambda e^{-\lambda y}, \qquad y\ge0

S=X+YS=X+Y가 음수가 될 수는 없다. s>0s>0일 때 두 PDF가 함께 0이 아닌 범위는 0≤x≤s0\le x\le s이다.

fS(s)=∫0sλe−λxλe−λ(s−x) dx=λ2e−λs∫0s1 dx=λ2se−λs\begin{aligned} f_S(s) &= \int_0^s \lambda e^{-\lambda x} \lambda e^{-\lambda(s-x)}\,dx \\ &= \lambda^2e^{-\lambda s} \int_0^s 1\,dx \\ &= \lambda^2s e^{-\lambda s} \end{aligned}

따라서 다음 PDF를 얻는다.

fS(s)={λ2se−λs,s≥00,s<0f_S(s) = \begin{cases} \lambda^2s e^{-\lambda s}, & s\ge0 \\ 0, & s<0 \end{cases}

이는 shape parameter가 2인 Erlang distribution이다. 같은 rate를 갖는 독립 exponential random variables를 kk개 더하면 다음 Erlang distribution으로 확장된다.

Sk=∑i=1kXiS_k=\sum_{i=1}^{k}X_i fSk(s)=λksk−1e−λs(k−1)!,s≥0f_{S_k}(s) = \frac{\lambda^k s^{k-1}e^{-\lambda s}} {(k-1)!}, \qquad s\ge0

Poisson process에서 XiX_i를 연속한 두 사건 사이의 대기시간으로 보면 SkS_k는 kk번째 사건까지 걸리는 전체 시간이다.

합의 평균과 분산

기댓값의 선형성에는 독립성 가정이 필요하지 않다.

E[X+Y]=E[X]+E[Y]E[X+Y] = E[X]+E[Y]

분산에는 covariance가 추가된다.

Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)+2Cov⁡(X,Y)\operatorname{Var}(X+Y) = \operatorname{Var}(X) +\operatorname{Var}(Y) +2\operatorname{Cov}(X,Y)

XX, YY가 uncorrelated이거나 independent이면 covariance가 0이므로 분산도 단순히 더해진다.

Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)\operatorname{Var}(X+Y) = \operatorname{Var}(X) +\operatorname{Var}(Y)

여러 확률변수의 합에서는 모든 분산과 서로 다른 변수 쌍의 covariance를 함께 더한다.

Var⁡(∑i=1nXi)=∑i=1nVar⁡(Xi)+2∑i<jCov⁡(Xi,Xj)\operatorname{Var}\left(\sum_{i=1}^{n}X_i\right) = \sum_{i=1}^{n}\operatorname{Var}(X_i) +2\sum_{i<j}\operatorname{Cov}(X_i,X_j)

서로 독립인 exponential random variables를 kk개 더한 SkS_k의 평균과 분산은 다음과 같다.

E[Sk]=kλ,Var⁡(Sk)=kλ2E[S_k]=\frac{k}{\lambda}, \qquad \operatorname{Var}(S_k)=\frac{k}{\lambda^2}

중요 개념 정리

  • 두 확률변수의 합은 xyxy 평면에서 x+y≤sx+y\le s인 영역의 확률로부터 구할 수 있다.
  • 두 확률변수가 독립일 때 합의 PDF는 각 PDF의 convolution이다.
  • Convolution 계산에서는 두 함수의 support가 겹치는 구간을 ss에 따라 나누어야 한다.
  • 기댓값은 항상 더해지지만, 분산이 단순히 더해지려면 covariance가 0이어야 한다.
  • 같은 rate의 exponential random variables를 더하면 Erlang distribution이 나온다.