연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 14강
확률변수의 함수
확률변수 X와 함수 g를 이용해 새로운 확률변수 Y를 정의할 수 있다.
Y=g(X)
X의 분포와 함수 g를 알고 있을 때 목표는 Y의 분포를 구하는 것이다. 시뮬레이션에서 쉽게 생성할 수 있는 uniform random variable을 원하는 분포로 변환하는 문제도 이 범주에 속한다.
이산 확률변수라면 같은 y를 만드는 모든 x의 확률을 더하면 된다.
P(Y=y)=x:g(x)=y∑P(X=x)
함수가 one-to-one이 아니면 서로 다른 x가 같은 y로 합쳐질 수 있다는 점이 중요하다. 예를 들어 X∈{−1,0,1}이고 Y=X2이면 Y=1의 확률은 X=−1과 X=1의 확률을 더한 값이다.
연속 확률변수에서는 한 점의 확률이 0이므로 PDF 값을 그대로 옮길 수 없다. 변환으로 구간의 폭까지 달라지기 때문에 CDF에서 출발하는 편이 안전하다.
CDF로 분포 구하기
Y의 CDF 정의에 Y=g(X)를 대입한다.
FY(y)=P(Y≤y)=P(g(X)≤y)
그다음 부등식을 만족하는 X의 구간을 찾고, 그 확률을 FX로 표현한다. 마지막으로 y에 대해 미분하면 Y의 PDF를 얻는다.
fY(y)=dydFY(y)
정리하면 다음 순서이다.
- Y가 가질 수 있는 범위를 확인한다.
- 사건 g(X)≤y를 X의 범위로 바꾼다.
- 그 확률을 X의 CDF로 표현한다.
- y에 대해 미분한다.
함수가 단조인지, 같은 y에 대응하는 x가 몇 개인지를 그래프로 먼저 확인하면 X의 범위를 정하기 쉽다.
선형 변환
a=0일 때 다음 변환을 생각한다.
Y=aX+b
a>0이면 부등호 방향이 유지된다.
FY(y)=P(X≤ay−b)=FX(ay−b)
a<0이면 부등호 방향이 바뀐다. 연속 확률변수에서는 한 점의 확률이 0이므로 다음처럼 쓸 수 있다.
FY(y)=P(X≥ay−b)=1−FX(ay−b)
두 경우를 미분하여 합치면 다음 PDF를 얻는다.
fY(y)=∣a∣1fX(ay−b)
∣a∣는 구간 길이가 변하는 만큼 density의 높이를 반대로 조정한다. ∣a∣>1이면 값의 범위가 넓어지므로 PDF는 낮아지고, 0<∣a∣<1이면 범위가 좁아지므로 PDF는 높아진다. 이렇게 해야 전체 넓이가 계속 1로 유지된다.
단조 변환의 일반식
g가 미분 가능하고 strictly monotonic이라고 하자. 이때 y=g(x)를 만족하는 해는 하나이고 다음처럼 쓸 수 있다.
x=g−1(y)
변환된 PDF는 다음과 같다.
fY(y)=fX(g−1(y))dydg−1(y)
역함수 미분을 사용하면 같은 식을 다음처럼 표현할 수 있다.
fY(y)=∣g′(x)∣fX(x)x=g−1(y)
∣g′(x)∣가 크다는 것은 작은 x 구간이 넓은 y 구간으로 늘어난다는 뜻이다. 따라서 같은 확률을 유지하려면 Y의 density는 그 비율만큼 작아져야 한다.
여러 원상을 갖는 변환
g가 one-to-one이 아니면 하나의 y에 여러 x가 대응한다. g(x)=y를 만족하는 서로 다른 해를 x1(y),…,xm(y)라고 하자. 각 해에서 g′(xi)=0이면 PDF는 모든 원상의 기여를 더한 값이다.
fY(y)=i=1∑m∣g′(xi(y))∣fX(xi(y))
해의 개수는 y의 범위에 따라 달라질 수 있다. 굴곡이 있는 함수라면 구간별로 g(x)=y의 교점 수를 확인하고 PDF를 나누어 정의해야 한다.
제곱 변환
다음 변환에서는 Y가 음수가 될 수 없다.
Y=X2
y>0일 때 x2=y의 해는 두 개이다.
x1=−y,x2=y
g′(x)=2x이므로 일반식을 적용하면 다음과 같다.
fY(y)=2yfX(−y)+fX(y),y>0
y<0에서는 fY(y)=0이다.
X가 standard normal distribution을 따르면 PDF가 원점에 대해 대칭이므로 다음 결과를 얻는다.
fY(y)=2πy1e−y/2,y>0
이는 자유도가 1인 chi-square distribution이다.
변환된 확률변수의 기댓값
Y=g(X)의 기댓값만 필요하다면 먼저 fY를 구할 필요가 없다. X의 분포에 대해 g(X)를 직접 평균내면 된다.
이산 확률변수에서는 다음과 같다.
E[g(X)]=x∑g(x)pX(x)
연속 확률변수에서는 다음과 같다.
E[g(X)]=∫−∞∞g(x)fX(x)dx
이 성질을 LOTUS(Law of the Unconscious Statistician)라고 부른다. 분산을 구할 때 X2의 PDF를 따로 유도하지 않고 E[X2]를 계산했던 것도 같은 원리이다.
다음 내용과의 연결
이번 강의에서는 하나의 확률변수로 하나의 새 확률변수를 만드는 경우를 다루었다. 이후에는 여러 확률변수의 함수로 범위를 넓힌다.
- Z=X+Y와 같은 합의 분포
- min(X,Y)와 max(X,Y)의 분포
- (X,Y)를 (U,V)로 바꾸는 다변수 변환과 Jacobian
특히 independent random variables의 합은 각 PDF의 convolution으로 표현된다.
중요 개념 정리
- 연속 확률변수의 변환은 FY(y)=P(g(X)≤y)에서 시작하면 구간과 부호를 놓치기 어렵다.
- PDF에는 함수값뿐 아니라 변환으로 달라지는 구간의 폭이 반영되어야 한다.
- 하나의 y에 여러 x가 대응하면 각 원상에서 온 density를 모두 더한다.
- E[g(X)]만 필요하다면 Y의 PDF를 먼저 구하지 않고 X의 분포에서 직접 계산할 수 있다.