연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 15강
두 확률변수의 합
두 확률변수 X, Y를 더해 새로운 확률변수 S를 만든다.
S=X+Y
X, Y의 결합 PDF를 알고 있을 때 S의 분포를 구하는 것이 목표이다. 한 확률변수의 변환과 마찬가지로 CDF에서 시작한다.
FS(s)=P(S≤s)=P(X+Y≤s)
xy 평면에서 x+y≤s는 직선 x+y=s 아래의 반평면이다. 따라서 이 영역에서 결합 PDF를 적분하면 된다.
FS(s)=∫−∞∞∫−∞s−yfX,Y(x,y)dxdy
적분 순서를 바꾸면 다음과 같다.
FS(s)=∫−∞∞∫−∞s−xfX,Y(x,y)dydx
이 식은 X와 Y가 dependent인 경우에도 사용할 수 있다. 다만 결합 PDF 자체를 알아야 하므로 각 marginal PDF만으로는 합의 분포를 정할 수 없다.
독립일 때의 Convolution
X와 Y가 independent이면 결합 PDF가 두 marginal PDF의 곱으로 분리된다.
fX,Y(x,y)=fX(x)fY(y)
이를 CDF 식에 대입하고 s에 대해 미분하면 다음 결과를 얻는다.
fS(s)=∫−∞∞fX(x)fY(s−x)dx
적분 변수의 이름을 바꾸면 다음처럼 쓸 수도 있다.
fS(s)=∫−∞∞fX(s−y)fY(y)dy
이 연산이 convolution이다.
fS=fX∗fY
Convolution은 두 함수 중 하나를 뒤집고, s만큼 이동시킨 뒤, 두 함수가 겹치는 부분을 곱하여 적분하는 연산으로 볼 수 있다. 식의 fY(s−x)에는 다음 두 변화가 함께 들어 있다.
- fY(−x): 가로축 방향으로 뒤집는다.
- fY(s−x): 뒤집은 함수를 s만큼 이동한다.
s가 움직일 때 두 함수가 동시에 0이 아닌 구간을 정확히 찾는 것이 계산의 핵심이다. Convolution은 교환법칙을 만족하므로 어느 함수를 뒤집어도 결과는 같다.
fX∗fY=fY∗fX
X와 Y가 독립이고 다음 분포를 따른다고 하자.
X∼U(0,1),Y∼U(0,2)
각 PDF는 다음과 같다.
fX(x)={1,0,0≤x≤1otherwise
fY(y)=⎩⎨⎧21,0,0≤y≤2otherwise
S=X+Y가 가질 수 있는 범위는 0≤s≤3이다. fX(x)와 fY(s−x)가 겹치는 구간이 s에 따라 달라지므로 구간을 나누어 계산한다.
fS(s)=⎩⎨⎧0,2s,21,23−s,0,s<00≤s<11≤s<22≤s≤3s>3
0≤s<1에서는 겹치는 길이가 s만큼 증가한다. 1≤s<2에서는 폭이 1인 X의 support 전체가 겹친다. 2≤s≤3에서는 겹치는 길이가 3−s만큼 감소한다.
Exponential distribution의 합
X, Y가 서로 독립이고 같은 rate λ를 갖는 exponential distribution을 따른다고 하자.
fX(x)=λe−λx,x≥0
fY(y)=λe−λy,y≥0
S=X+Y가 음수가 될 수는 없다. s>0일 때 두 PDF가 함께 0이 아닌 범위는 0≤x≤s이다.
fS(s)=∫0sλe−λxλe−λ(s−x)dx=λ2e−λs∫0s1dx=λ2se−λs
따라서 다음 PDF를 얻는다.
fS(s)={λ2se−λs,0,s≥0s<0
이는 shape parameter가 2인 Erlang distribution이다. 같은 rate를 갖는 독립 exponential random variables를 k개 더하면 다음 Erlang distribution으로 확장된다.
Sk=i=1∑kXi
fSk(s)=(k−1)!λksk−1e−λs,s≥0
Poisson process에서 Xi를 연속한 두 사건 사이의 대기시간으로 보면 Sk는 k번째 사건까지 걸리는 전체 시간이다.
합의 평균과 분산
기댓값의 선형성에는 독립성 가정이 필요하지 않다.
E[X+Y]=E[X]+E[Y]
분산에는 covariance가 추가된다.
Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)
X, Y가 uncorrelated이거나 independent이면 covariance가 0이므로 분산도 단순히 더해진다.
Var(X+Y)=Var(X)+Var(Y)
여러 확률변수의 합에서는 모든 분산과 서로 다른 변수 쌍의 covariance를 함께 더한다.
Var(i=1∑nXi)=i=1∑nVar(Xi)+2i<j∑Cov(Xi,Xj)
서로 독립인 exponential random variables를 k개 더한 Sk의 평균과 분산은 다음과 같다.
E[Sk]=λk,Var(Sk)=λ2k
중요 개념 정리
- 두 확률변수의 합은 xy 평면에서 x+y≤s인 영역의 확률로부터 구할 수 있다.
- 두 확률변수가 독립일 때 합의 PDF는 각 PDF의 convolution이다.
- Convolution 계산에서는 두 함수의 support가 겹치는 구간을 s에 따라 나누어야 한다.
- 기댓값은 항상 더해지지만, 분산이 단순히 더해지려면 covariance가 0이어야 한다.
- 같은 rate의 exponential random variables를 더하면 Erlang distribution이 나온다.