연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 16강

이산 확률변수의 합

정수 값을 갖는 두 이산 확률변수 $X$, $Y$의 합을 다음과 같이 정의한다.

$$Z=X+Y$$

$Z=z$가 되려면 $X=k$, $Y=z-k$인 경우를 모두 고려해야 한다. 이 사건들은 서로 배반이므로 각 결합확률을 더한다.

$$P(Z=z) = \sum_{k=-\infty}^{\infty} P(X=k,Y=z-k)$$

실제 계산에서는 각 확률변수의 support 밖에 있는 항이 0이므로 가능한 $k$만 더하면 된다. 이 식에는 아직 독립성 가정이 없다.

$X$와 $Y$가 independent이면 결합확률을 각 PMF의 곱으로 분리할 수 있다.

$$p_Z(z) = \sum_{k=-\infty}^{\infty} p_X(k)p_Y(z-k)$$

이는 이산 convolution이다.

$$p_Z=p_X*p_Y$$

연속 convolution의 적분이 이산형에서는 합으로 바뀐 것이다. $p_Y(z-k)$를 $k$의 함수로 보면 $p_Y$를 뒤집어 $z$만큼 이동한 모양이다. 이동하면서 $p_X(k)$와 같은 위치에 놓인 값들을 곱해 모두 더한다.

동전과 주사위의 합

$X$는 공정한 동전의 뒷면을 0, 앞면을 1로 나타낸 확률변수이고, $Y$는 공정한 주사위의 눈이라고 하자.

$$p_X(x) = \begin{cases} \dfrac{1}{2}, & x=0,1 \\ 0, & \text{otherwise} \end{cases}$$ $$p_Y(y) = \begin{cases} \dfrac{1}{6}, & y=1,2,\ldots,6 \\ 0, & \text{otherwise} \end{cases}$$

두 시행은 서로 독립이고 $Z=X+Y$의 범위는 1부터 7까지이다. 양 끝값은 가능한 조합이 하나뿐이고, 가운데 값들은 조합이 두 개씩 있다.

$$p_Z(z) = \begin{cases} \dfrac{1}{12}, & z=1,7 \\ \dfrac{1}{6}, & z=2,3,4,5,6 \\ 0, & \text{otherwise} \end{cases}$$

예를 들어 $Z=2$는 $(X,Y)=(0,2)$ 또는 $(1,1)$일 때 발생한다.

$$P(Z=2) = \frac{1}{2}\frac{1}{6} +\frac{1}{2}\frac{1}{6} = \frac{1}{6}$$

이처럼 이산 convolution은 합이 같은 모든 경우의 확률을 모으는 과정이다.

이산 uniform distribution의 convolution

$X$가 $0,1,\ldots,n-1$에서, $Y$가 $0,1,\ldots,m-1$에서 각각 균일하고 서로 독립이라고 하자. 편의상 $m\le n$으로 둔다.

$$p_X(k)=\frac{1}{n}, \qquad p_Y(k)=\frac{1}{m}$$

Convolution에서 겹치는 정수 위치 하나마다 $1/(nm)$이 더해진다. 따라서 합 $Z=X+Y$의 PMF는 처음에는 가능한 조합 수만큼 증가하고, 짧은 support 전체가 겹치는 동안 일정하게 유지되다가 다시 감소한다.

$$p_Z(z) = \begin{cases} \dfrac{z+1}{nm}, & 0\le z<m \\ \dfrac{1}{n}, & m\le z<n \\ \dfrac{n+m-1-z}{nm}, & n\le z\le n+m-2 \\ 0, & \text{otherwise} \end{cases}$$

두 support 길이가 같으면 가운데의 일정한 구간은 사라지고 삼각형 모양의 PMF가 된다.

Binomial distribution의 합

$X$, $Y$가 서로 독립이고 같은 성공확률 $p$를 갖는다고 하자.

$$X\sim\operatorname{Bin}(n,p), \qquad Y\sim\operatorname{Bin}(m,p)$$

$Z=X+Y$의 PMF에 이산 convolution을 적용한다.

$$\begin{aligned} P(Z=z) &= \sum_k \binom{n}{k}p^k(1-p)^{n-k} \binom{m}{z-k}p^{z-k}(1-p)^{m-z+k} \\ &= p^z(1-p)^{n+m-z} \sum_k \binom{n}{k}\binom{m}{z-k} \end{aligned}$$

합에 Vandermonde identity를 적용한다.

$$\sum_k \binom{n}{k}\binom{m}{z-k} = \binom{n+m}{z}$$

따라서 다음 결과를 얻는다.

$$P(Z=z) = \binom{n+m}{z} p^z(1-p)^{n+m-z}$$ $$Z\sim\operatorname{Bin}(n+m,p)$$

같은 사건에 대해 앞의 $n$번 시행에서 나온 성공 횟수와 뒤의 $m$번 시행에서 나온 성공 횟수를 더하면, 전체 $n+m$번 시행의 성공 횟수가 된다는 의미이다. 두 binomial random variables의 성공확률이 서로 다르면 일반적으로 하나의 binomial distribution으로 합쳐지지 않는다.

Poisson distribution의 합

$X$, $Y$가 서로 독립인 Poisson random variables라고 하자.

$$X\sim\operatorname{Poisson}(\lambda_X), \qquad Y\sim\operatorname{Poisson}(\lambda_Y)$$

$Z=X+Y$의 PMF는 다음과 같다.

$$\begin{aligned} P(Z=z) &= \sum_{k=0}^{z} \frac{\lambda_X^k e^{-\lambda_X}}{k!} \frac{\lambda_Y^{z-k}e^{-\lambda_Y}}{(z-k)!} \\ &= \frac{e^{-(\lambda_X+\lambda_Y)}}{z!} \sum_{k=0}^{z} \binom{z}{k} \lambda_X^k\lambda_Y^{z-k} \end{aligned}$$

Binomial theorem을 적용하면 다음과 같이 정리된다.

$$P(Z=z) = \frac{(\lambda_X+\lambda_Y)^z} {z!} e^{-(\lambda_X+\lambda_Y)}$$ $$Z\sim\operatorname{Poisson}(\lambda_X+\lambda_Y)$$

서로 독립인 여러 사건 흐름을 하나로 합치면 전체 사건 수의 평균 rate가 더해지는 결과이다. 예를 들어 각 입구로 들어오는 차량 수가 독립적인 Poisson distribution을 따르면 모든 입구를 합친 차량 수도 Poisson distribution을 따른다.

평균과 분산으로 확인하기

두 분포의 합에서 얻은 parameter는 평균과 분산의 성질과도 일치한다.

Binomial distribution에서는 다음과 같다.

$$E[Z] = np+mp = (n+m)p$$ $$\operatorname{Var}(Z) = np(1-p)+mp(1-p) = (n+m)p(1-p)$$

Poisson distribution에서는 평균과 분산이 모두 parameter와 같다.

$$E[Z] = \lambda_X+\lambda_Y$$ $$\operatorname{Var}(Z) = \lambda_X+\lambda_Y$$

독립성으로 covariance가 0이기 때문에 분산도 그대로 더해진다.

중요 개념 정리

• 이산 확률변수의 합에 대한 PMF는 합이 같은 모든 값의 결합확률을 더해 구한다.
• 두 변수가 독립이면 결합확률이 분리되어 이산 convolution이 된다.
• 같은 $p$를 갖는 독립 binomial random variables의 합은 시행 횟수가 더해진 binomial distribution이다.
• 독립 Poisson random variables의 합은 rate가 더해진 Poisson distribution이다.
• Convolution 식뿐 아니라 실제로 어떤 값의 조합들이 같은 합을 만드는지 보는 것이 직관에 도움이 된다.