연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 14강

확률변수의 함수

확률변수 XX와 함수 gg를 이용해 새로운 확률변수 YY를 정의할 수 있다.

Y=g(X)Y=g(X)

XX의 분포와 함수 gg를 알고 있을 때 목표는 YY의 분포를 구하는 것이다. 시뮬레이션에서 쉽게 생성할 수 있는 uniform random variable을 원하는 분포로 변환하는 문제도 이 범주에 속한다.

이산 확률변수라면 같은 yy를 만드는 모든 xx의 확률을 더하면 된다.

P(Y=y)=∑x:g(x)=yP(X=x)P(Y=y) = \sum_{x:g(x)=y}P(X=x)

함수가 one-to-one이 아니면 서로 다른 xx가 같은 yy로 합쳐질 수 있다는 점이 중요하다. 예를 들어 X∈{−1,0,1}X\in\{-1,0,1\}이고 Y=X2Y=X^2이면 Y=1Y=1의 확률은 X=−1X=-1과 X=1X=1의 확률을 더한 값이다.

연속 확률변수에서는 한 점의 확률이 0이므로 PDF 값을 그대로 옮길 수 없다. 변환으로 구간의 폭까지 달라지기 때문에 CDF에서 출발하는 편이 안전하다.

CDF로 분포 구하기

YY의 CDF 정의에 Y=g(X)Y=g(X)를 대입한다.

FY(y)=P(Y≤y)=P(g(X)≤y)F_Y(y) = P(Y\le y) = P(g(X)\le y)

그다음 부등식을 만족하는 XX의 구간을 찾고, 그 확률을 FXF_X로 표현한다. 마지막으로 yy에 대해 미분하면 YY의 PDF를 얻는다.

fY(y)=ddyFY(y)f_Y(y) = \frac{d}{dy}F_Y(y)

정리하면 다음 순서이다.

  1. YY가 가질 수 있는 범위를 확인한다.
  2. 사건 g(X)≤yg(X)\le y를 XX의 범위로 바꾼다.
  3. 그 확률을 XX의 CDF로 표현한다.
  4. yy에 대해 미분한다.

함수가 단조인지, 같은 yy에 대응하는 xx가 몇 개인지를 그래프로 먼저 확인하면 XX의 범위를 정하기 쉽다.

선형 변환

a≠0a\ne0일 때 다음 변환을 생각한다.

Y=aX+bY=aX+b

a>0a>0이면 부등호 방향이 유지된다.

FY(y)=P(X≤y−ba)=FX(y−ba)F_Y(y) = P\left(X\le\frac{y-b}{a}\right) = F_X\left(\frac{y-b}{a}\right)

a<0a<0이면 부등호 방향이 바뀐다. 연속 확률변수에서는 한 점의 확률이 0이므로 다음처럼 쓸 수 있다.

FY(y)=P(X≥y−ba)=1−FX(y−ba)F_Y(y) = P\left(X\ge\frac{y-b}{a}\right) = 1-F_X\left(\frac{y-b}{a}\right)

두 경우를 미분하여 합치면 다음 PDF를 얻는다.

fY(y)=1∣a∣fX(y−ba)f_Y(y) = \frac{1}{|a|} f_X\left(\frac{y-b}{a}\right)

∣a∣|a|는 구간 길이가 변하는 만큼 density의 높이를 반대로 조정한다. ∣a∣>1|a|>1이면 값의 범위가 넓어지므로 PDF는 낮아지고, 0<∣a∣<10<|a|<1이면 범위가 좁아지므로 PDF는 높아진다. 이렇게 해야 전체 넓이가 계속 1로 유지된다.

단조 변환의 일반식

gg가 미분 가능하고 strictly monotonic이라고 하자. 이때 y=g(x)y=g(x)를 만족하는 해는 하나이고 다음처럼 쓸 수 있다.

x=g−1(y)x=g^{-1}(y)

변환된 PDF는 다음과 같다.

fY(y)=fX(g−1(y))∣ddyg−1(y)∣f_Y(y) = f_X\left(g^{-1}(y)\right) \left| \frac{d}{dy}g^{-1}(y) \right|

역함수 미분을 사용하면 같은 식을 다음처럼 표현할 수 있다.

fY(y)=fX(x)∣g′(x)∣∣x=g−1(y)f_Y(y) = \frac{f_X(x)}{|g'(x)|} \bigg|_{x=g^{-1}(y)}

∣g′(x)∣|g'(x)|가 크다는 것은 작은 xx 구간이 넓은 yy 구간으로 늘어난다는 뜻이다. 따라서 같은 확률을 유지하려면 YY의 density는 그 비율만큼 작아져야 한다.

여러 원상을 갖는 변환

gg가 one-to-one이 아니면 하나의 yy에 여러 xx가 대응한다. g(x)=yg(x)=y를 만족하는 서로 다른 해를 x1(y),…,xm(y)x_1(y),\ldots,x_m(y)라고 하자. 각 해에서 g′(xi)≠0g'(x_i)\ne0이면 PDF는 모든 원상의 기여를 더한 값이다.

fY(y)=∑i=1mfX(xi(y))∣g′(xi(y))∣f_Y(y) = \sum_{i=1}^{m} \frac{f_X(x_i(y))} {|g'(x_i(y))|}

해의 개수는 yy의 범위에 따라 달라질 수 있다. 굴곡이 있는 함수라면 구간별로 g(x)=yg(x)=y의 교점 수를 확인하고 PDF를 나누어 정의해야 한다.

제곱 변환

다음 변환에서는 YY가 음수가 될 수 없다.

Y=X2Y=X^2

y>0y>0일 때 x2=yx^2=y의 해는 두 개이다.

x1=−y,x2=yx_1=-\sqrt{y}, \qquad x_2=\sqrt{y}

g′(x)=2xg'(x)=2x이므로 일반식을 적용하면 다음과 같다.

fY(y)=fX(−y)+fX(y)2y,y>0f_Y(y) = \frac{ f_X(-\sqrt{y})+f_X(\sqrt{y}) }{2\sqrt{y}}, \qquad y>0

y<0y<0에서는 fY(y)=0f_Y(y)=0이다.

XX가 standard normal distribution을 따르면 PDF가 원점에 대해 대칭이므로 다음 결과를 얻는다.

fY(y)=12πye−y/2,y>0f_Y(y) = \frac{1}{\sqrt{2\pi y}} e^{-y/2}, \qquad y>0

이는 자유도가 1인 chi-square distribution이다.

변환된 확률변수의 기댓값

Y=g(X)Y=g(X)의 기댓값만 필요하다면 먼저 fYf_Y를 구할 필요가 없다. XX의 분포에 대해 g(X)g(X)를 직접 평균내면 된다.

이산 확률변수에서는 다음과 같다.

E[g(X)]=∑xg(x)pX(x)E[g(X)] = \sum_x g(x)p_X(x)

연속 확률변수에서는 다음과 같다.

E[g(X)]=∫−∞∞g(x)fX(x) dxE[g(X)] = \int_{-\infty}^{\infty} g(x)f_X(x)\,dx

이 성질을 LOTUS(Law of the Unconscious Statistician)라고 부른다. 분산을 구할 때 X2X^2의 PDF를 따로 유도하지 않고 E[X2]E[X^2]를 계산했던 것도 같은 원리이다.

다음 내용과의 연결

이번 강의에서는 하나의 확률변수로 하나의 새 확률변수를 만드는 경우를 다루었다. 이후에는 여러 확률변수의 함수로 범위를 넓힌다.

  • Z=X+YZ=X+Y와 같은 합의 분포
  • min⁡(X,Y)\min(X,Y)와 max⁡(X,Y)\max(X,Y)의 분포
  • (X,Y)(X,Y)를 (U,V)(U,V)로 바꾸는 다변수 변환과 Jacobian

특히 independent random variables의 합은 각 PDF의 convolution으로 표현된다.

중요 개념 정리

  • 연속 확률변수의 변환은 FY(y)=P(g(X)≤y)F_Y(y)=P(g(X)\le y)에서 시작하면 구간과 부호를 놓치기 어렵다.
  • PDF에는 함수값뿐 아니라 변환으로 달라지는 구간의 폭이 반영되어야 한다.
  • 하나의 yy에 여러 xx가 대응하면 각 원상에서 온 density를 모두 더한다.
  • E[g(X)]E[g(X)]만 필요하다면 YY의 PDF를 먼저 구하지 않고 XX의 분포에서 직접 계산할 수 있다.