연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 17강
두 확률변수의 변환
확률변수 X, Y로부터 두 개의 새 확률변수 U, V를 만든다고 하자.
U=g(X,Y),V=h(X,Y)
X, Y의 결합 PDF를 알고 있을 때 목표는 U, V의 결합 PDF를 구하는 것이다. 한 변수의 변환에서는 미분값으로 구간 길이의 변화를 보정했다. 두 변수에서는 면적의 변화를 Jacobian determinant로 보정한다.
변환이 one-to-one이고 역변환을 다음처럼 쓸 수 있다고 하자.
X=x(U,V),Y=y(U,V)
역변환의 Jacobian matrix는 다음과 같다.
Jinv=∂(u,v)∂(x,y)=∂u∂x∂u∂y∂v∂x∂v∂y
변환된 결합 PDF는 다음과 같다.
fU,V(u,v)=fX,Y(x(u,v),y(u,v))∣detJinv∣
Forward Jacobian을 사용하는 경우에는 determinant의 역수를 곱한다.
Jfwd=∂(x,y)∂(u,v)=∂x∂g∂x∂h∂y∂g∂y∂h
fU,V(u,v)=∣detJfwd∣fX,Y(x(u,v),y(u,v))
두 식은 inverse function theorem에 의해 같은 결과를 준다. 다만 forward Jacobian과 inverse Jacobian을 한 식에서 섞어 쓰지 않도록 주의해야 한다.
합과 차로 변환하는 예제
다음 변환을 생각한다.
U=X+Y,V=X−Y
Forward Jacobian은 다음과 같다.
Jfwd=[111−1]
detJfwd=−2
두 변환식을 더하고 빼면 역변환을 얻는다.
X=2U+V,Y=2U−V
따라서 변환된 결합 PDF는 다음과 같다.
fU,V(u,v)=21fX,Y(2u+v,2u−v)
X, Y가 서로 독립인 standard normal random variables라면 원래 결합 PDF는 다음과 같다.
fX,Y(x,y)=2π1exp(−2x2+y2)
역변환을 대입하면 다음 결과를 얻는다.
fU,V(u,v)=4π1exp(−4u2+v2)
이 PDF는 u와 v에 관한 두 함수의 곱으로 분리된다. 따라서 U와 V는 서로 독립이고 각각 평균이 0, 분산이 2인 normal distribution을 따른다.
U,V∼N(0,2)
하나의 변수만 필요할 때
U=g(X,Y) 하나의 분포만 필요하더라도 Jacobian 공식을 바로 적용하려면 출력 변수가 두 개 필요하다. 이때 계산하기 쉬운 보조변수 W를 하나 정의한다.
예를 들어 곱의 분포를 구하기 위해 다음처럼 둔다.
U=XY,W=X
역변환은 다음과 같다.
X=W,Y=WU
Forward Jacobian determinant의 절댓값은 ∣X∣=∣W∣이다. 따라서 U, W의 결합 PDF는 다음과 같다.
fU,W(u,w)=∣w∣1fX,Y(w,wu),w=0
마지막으로 보조변수 W를 주변화하면 U=XY의 PDF를 얻는다.
fU(u)=∫−∞∞∣w∣1fX,Y(w,wu)dw
실제 적분 범위는 X, Y의 support와 역변환 조건에 맞춰 정해야 한다.
컴퓨터에서는 0과 1 사이의 uniform random number를 비교적 쉽게 생성할 수 있다. 서로 독립인 두 확률변수 X, Y가 다음 분포를 따른다고 하자.
X,Y∼U(0,1)
Box-Muller transform은 이 값들로 두 개의 standard normal random variables를 만든다.
U=−2lnXcos(2πY)
V=−2lnXsin(2πY)
Forward Jacobian determinant의 절댓값은 다음과 같다.
∂(x,y)∂(u,v)=x2π
X, Y의 결합 PDF는 unit square 안에서 1이다. 또한 두 변환식을 제곱하여 더하면 x를 u, v로 표현할 수 있다.
u2+v2=−2lnx
x=exp(−2u2+v2)
Jacobian 공식을 적용하면 다음 결합 PDF를 얻는다.
fU,V(u,v)=2π1exp(−2u2+v2)
이는 두 standard normal PDF의 곱으로 분리된다. 따라서 U, V는 서로 독립인 standard normal random variables이다.
원하는 평균 μ와 표준편차 σ를 갖는 값이 필요하면 선형 변환을 추가한다.
Z=μ+σU
이번에는 출발 분포와 목표 분포가 주어졌을 때 변환 함수 자체를 찾는다. X∼U(0,1)이고 목표 CDF를 FY라고 하자. FY가 연속이고 strictly increasing이면 다음과 같이 둘 수 있다.
Y=FY−1(X)
Uniform random variable을 목표 CDF의 역함수에 넣으면 Y가 원하는 분포를 따른다.
Rate가 λ인 exponential distribution의 CDF는 다음과 같다.
FY(y)=1−e−λy,y≥0
X=FY(Y)를 Y에 대해 풀면 다음 변환을 얻는다.
Y=−λ1ln(1−X)
1−X도 U(0,1)을 따르므로 다음 표현도 같은 분포를 만든다.
Y=−λ1lnX
이렇게 만든 exponential waiting time을 차례로 더해 사건 발생 시점을 정하면 Poisson process를 시뮬레이션할 수 있다.
중요 개념 정리
- 다변수 변환에서는 Jacobian determinant로 면적이 늘어나거나 줄어드는 비율을 보정한다.
- Forward Jacobian을 사용하면 determinant의 역수를, inverse Jacobian을 사용하면 determinant 자체를 곱한다.
- 출력 변수 하나의 분포만 필요해도 보조변수를 추가한 뒤 결합 PDF를 구하고 주변화할 수 있다.
- Box-Muller transform은 두 uniform random variables로 두 independent standard normal random variables를 만든다.
- Inverse transform sampling은 uniform random variable에 목표 CDF의 역함수를 적용하는 방법이다.