연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 19강

S-transform

비음수 연속 확률변수 $X$에 대해 강의에서 S-transform이라 부른 함수는 다음과 같다.

$$M_X(s) = E[e^{-sX}] = \int_0^{\infty}e^{-sx}f_X(x)\,dx$$

이는 PDF의 one-sided Laplace transform이다. Characteristic function에서 $j\omega$ 대신 $-s$를 사용한 형태와 비슷하지만, $s$는 일반적으로 실수 또는 복소수이고 transform이 수렴하는 범위에서만 정의된다.

$s=0$을 대입하면 PDF 전체를 적분한 값이므로 다음 조건을 만족한다.

$$M_X(0)=1$$

Moment를 구하는 성질

$s$에 대해 한 번 미분하면 다음과 같다.

$$M_X'(s) = E[-Xe^{-sX}]$$

$s=0$을 대입하면 평균의 음수가 나온다.

$$M_X'(0)=-E[X]$$

일반적으로 $n$번 미분하면 다음 관계가 성립한다.

$$M_X^{(n)}(0) = (-1)^nE[X^n]$$

따라서 필요한 moment가 존재한다면 transform을 미분하여 평균과 분산을 구할 수 있다.

$$E[X]=-M_X'(0)$$ $$\operatorname{Var}(X) = M_X''(0)-\left(M_X'(0)\right)^2$$

독립인 합의 transform

$X$, $Y$가 independent이고 $Z=X+Y$이면 다음과 같다.

$$\begin{aligned} M_Z(s) &=E[e^{-s(X+Y)}] \\ &=E[e^{-sX}]E[e^{-sY}] \\ &=M_X(s)M_Y(s) \end{aligned}$$

Probability domain에서 PDF의 convolution으로 나타나던 합이 transform domain에서는 곱셈으로 바뀐다.

Exponential distribution의 S-transform

$X$가 rate $\lambda$인 exponential distribution을 따른다고 하자.

$$f_X(x) = \lambda e^{-\lambda x}, \qquad x\ge0$$

정의에 대입하면 다음과 같다.

$$\begin{aligned} M_X(s) &= \int_0^{\infty} e^{-sx}\lambda e^{-\lambda x}\,dx \\ &= \lambda \int_0^{\infty} e^{-(\lambda+s)x}\,dx \\ &= \frac{\lambda}{\lambda+s} \end{aligned}$$

첫 번째와 두 번째 미분값은 다음과 같다.

$$M_X'(0)=-\frac{1}{\lambda}$$ $$M_X''(0)=\frac{2}{\lambda^2}$$

따라서 평균과 분산을 다시 확인할 수 있다.

$$E[X]=\frac{1}{\lambda}, \qquad \operatorname{Var}(X)=\frac{1}{\lambda^2}$$

Erlang distribution의 S-transform

같은 rate $\lambda$를 갖는 independent exponential random variables를 $k$개 더한 값을 $S_k$라고 하자.

$$S_k=X_1+\cdots+X_k$$

합의 transform이 각 transform의 곱이므로 다음 결과를 바로 얻는다.

$$M_{S_k}(s) = \prod_{i=1}^{k}M_{X_i}(s) = \left(\frac{\lambda}{\lambda+s}\right)^k$$

이는 다음 Erlang PDF와 transform pair를 이룬다.

$$f_{S_k}(x) = \frac{\lambda^kx^{k-1}e^{-\lambda x}} {(k-1)!}, \qquad x\ge0$$

직접 convolution하거나 반복해서 부분적분하는 대신 exponential transform을 $k$번 곱해 같은 결과를 얻을 수 있다.

확률생성함수

0 이상의 정수 값을 갖는 이산 확률변수 $X$에 대해 probability-generating function(PGF)을 다음과 같이 정의한다.

$$G_X(z) = E[z^X] = \sum_{x=0}^{\infty}p_X(x)z^x$$

강의에서는 이를 G-transform이라고도 부른다. $G_X(z)$를 power series로 보면 $z^x$의 coefficient가 곧 $P(X=x)$이다.

$$G_X(z) = p_X(0)+p_X(1)z+p_X(2)z^2+\cdots$$

$z=1$을 대입하면 모든 확률의 합이 된다.

$$G_X(1)=1$$

각 확률 복원하기

PGF를 $k$번 미분한 뒤 $z=0$을 대입하면 $k$차 항만 남는다.

$$G_X^{(k)}(0) = k!p_X(k)$$

따라서 각 확률은 다음과 같이 복원된다.

$$P(X=k) = \frac{G_X^{(k)}(0)}{k!}$$

Power series를 직접 전개할 수 있다면 coefficient를 읽으면 되고, 전개하기 어렵다면 이 미분식을 사용할 수 있다.

Moment 구하기

PGF를 한 번 미분한 뒤 $z=1$을 대입하면 평균이 나온다.

$$G_X'(1)=E[X]$$

두 번 미분하면 ordinary second moment가 아니라 second factorial moment가 나온다.

$$G_X''(1) = E[X(X-1)]$$

따라서 다음 관계로 second moment와 variance를 구한다.

$$E[X^2] = G_X''(1)+G_X'(1)$$ $$\operatorname{Var}(X) = G_X''(1)+G_X'(1)-\left(G_X'(1)\right)^2$$

확률을 구할 때는 미분 후 $z=0$, moment를 구할 때는 미분 후 $z=1$을 대입한다는 차이를 기억해야 한다.

독립인 합의 PGF

$X$, $Y$가 independent이고 $S=X+Y$이면 다음과 같다.

$$G_S(z) = E[z^{X+Y}] = G_X(z)G_Y(z)$$

이산 PMF의 convolution도 PGF에서는 곱셈으로 바뀐다.

주요 분포의 PGF

Binomial distribution

$X\sim\operatorname{Bin}(n,p)$이면 binomial theorem을 이용해 다음 결과를 얻는다.

$$\begin{aligned} G_X(z) &= \sum_{x=0}^{n} \binom{n}{x}p^x(1-p)^{n-x}z^x \\ &= (1-p+pz)^n \end{aligned}$$

한 번 미분하고 $z=1$을 대입하면 $E[X]=np$가 나온다.

Geometric distribution

$X$가 첫 성공까지의 시행 횟수이고 support가 $1,2,\ldots$라고 하자.

$$P(X=x)=(1-p)^{x-1}p$$

무한등비급수를 사용하면 PGF는 다음과 같다.

$$G_X(z) = \frac{pz}{1-(1-p)z}$$

Support를 실패 횟수 $0,1,2,\ldots$로 정의하면 앞의 $z$가 없는 다른 형태가 나오므로 어떤 정의를 쓰는지 먼저 확인해야 한다.

Poisson distribution

$X\sim\operatorname{Poisson}(\lambda)$이면 Taylor series를 이용해 다음처럼 정리된다.

$$\begin{aligned} G_X(z) &= \sum_{x=0}^{\infty} \frac{\lambda^xe^{-\lambda}}{x!}z^x \\ &= e^{-\lambda}e^{\lambda z} \\ &= e^{\lambda(z-1)} \end{aligned}$$

$G_X'(1)=\lambda$이고 PGF의 분산 공식을 적용하면 $\operatorname{Var}(X)=\lambda$가 된다.

중요 개념 정리

• 비음수 연속 확률변수의 S-transform은 PDF의 one-sided Laplace transform이다.
• S-transform을 0에서 미분하면 부호 $(-1)^n$이 붙은 raw moment가 나온다.
• PGF의 $z^k$ coefficient는 $P(X=k)$이다.
• PGF에서 확률은 $z=0$의 미분값으로, moment는 $z=1$의 미분값으로 구한다.
• 독립 확률변수의 합에서 convolution은 S-transform과 PGF 모두에서 곱셈으로 바뀐다.