연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 13강

여러 확률변수로의 확장

두 확률변수 $X$, $Y$의 결합분포에서 다룬 개념은 확률변수가 $n$개인 경우에도 그대로 확장할 수 있다. 확률변수들을 하나의 vector로 모으면 다음과 같다.

$$\mathbf{X} = \begin{bmatrix} X_1 & X_2 & \cdots & X_n \end{bmatrix}^{T}$$

이때 결합 CDF는 모든 확률변수가 주어진 값 이하일 확률이다.

$$F_{X_1,\ldots,X_n}(x_1,\ldots,x_n) = P(X_1\le x_1,\ldots,X_n\le x_n)$$

연속 확률변수의 결합 PDF는 결합 CDF를 각 변수에 대해 미분하여 얻는다.

$$f_{X_1,\ldots,X_n}(x_1,\ldots,x_n) = \frac{\partial^n}{\partial x_1\cdots\partial x_n} F_{X_1,\ldots,X_n}(x_1,\ldots,x_n)$$

여러 변수를 조건으로 둔 조건부 PDF도 두 변수일 때와 같은 비율로 정의된다.

$$f_{X_n\mid X_1,\ldots,X_{n-1}} (x_n\mid x_1,\ldots,x_{n-1}) = \frac{ f_{X_1,\ldots,X_n}(x_1,\ldots,x_n) }{ f_{X_1,\ldots,X_{n-1}}(x_1,\ldots,x_{n-1}) }$$

분모가 0인 지점에서는 이 식을 그대로 사용할 수 없다.

시간에 따라 확률변수를 나열한 $X_1,X_2,\ldots$도 이런 결합분포로 볼 수 있다. 현재 상태가 과거의 모든 상태가 아니라 바로 이전 상태에만 의존한다고 가정하면 이후에 다루는 Markov process로 이어진다.

다항분포

한 번의 시행에서 가능한 결과가 두 개라면 Bernoulli distribution을 사용한다. 가능한 결과가 $m$개이고 같은 시행을 독립적으로 $n$번 반복하면 각 결과가 나온 횟수는 multinomial distribution을 따른다.

$p_i$를 $i$번째 결과가 나올 확률, $N_i$를 그 결과가 나온 횟수라고 하자.

$$\sum_{i=1}^{m}p_i=1, \qquad \sum_{i=1}^{m}N_i=n$$

$N_i=n_i$일 결합 PMF는 다음과 같다.

$$P(N_1=n_1,\ldots,N_m=n_m) = \frac{n!}{n_1!\cdots n_m!} \prod_{i=1}^{m}p_i^{n_i}$$

여기서 $n_i$는 음이 아닌 정수이고 합이 $n$이어야 한다. 앞의 계수는 전체 $n$번의 시행 중 각 결과가 지정된 횟수만큼 나타나는 순서의 수를 센다.

각 결과의 횟수만 따로 보면 binomial distribution과 같으므로 평균과 분산은 다음과 같다.

$$E[N_i]=np_i, \qquad \operatorname{Var}(N_i)=np_i(1-p_i)$$

전체 시행 횟수가 고정되어 있으므로 서로 다른 두 횟수는 음의 공분산을 가진다.

$$\operatorname{Cov}(N_i,N_j)=-np_ip_j, \qquad i\ne j$$

한 결과가 더 많이 나오면 다른 결과가 차지할 수 있는 횟수가 줄어드는 관계가 식에 반영된 것이다.

공분산 행렬

확률변수 vector $\mathbf{X}$의 평균 vector를 다음과 같이 정의한다.

$$\boldsymbol{\mu} =E[\mathbf{X}] = \begin{bmatrix} E[X_1] & E[X_2] & \cdots & E[X_n] \end{bmatrix}^{T}$$

공분산 행렬 $\boldsymbol{\Sigma}$는 각 확률변수의 분산과 두 확률변수 사이의 공분산을 한 행렬에 모은 것이다.

$$\boldsymbol{\Sigma} = E\left[ (\mathbf{X}-\boldsymbol{\mu}) (\mathbf{X}-\boldsymbol{\mu})^{T} \right]$$

각 원소는 다음과 같다.

$$\Sigma_{ij} = \operatorname{Cov}(X_i,X_j)$$

따라서 대각 원소에는 각 변수의 분산이 놓이고, 대각선 밖에는 변수 쌍의 공분산이 놓인다.

$$\boldsymbol{\Sigma} = \begin{bmatrix} \operatorname{Var}(X_1) & \operatorname{Cov}(X_1,X_2) & \cdots \\ \operatorname{Cov}(X_2,X_1) & \operatorname{Var}(X_2) & \cdots \\ \vdots & \vdots & \ddots \end{bmatrix}$$

공분산은 변수의 순서를 바꾸어도 같으므로 공분산 행렬은 대칭 행렬이다.

$$\boldsymbol{\Sigma}^{T}=\boldsymbol{\Sigma}$$

또한 임의의 vector $\mathbf{a}$에 대해 다음 값은 항상 0 이상이다.

$$\mathbf{a}^{T}\boldsymbol{\Sigma}\mathbf{a} = \operatorname{Var}(\mathbf{a}^{T}\mathbf{X}) \ge 0$$

따라서 공분산 행렬은 positive semidefinite이다.

다변량 정규분포

$n$차원 확률변수 vector $\mathbf{X}$가 평균 vector $\boldsymbol{\mu}$와 공분산 행렬 $\boldsymbol{\Sigma}$를 갖는 다변량 정규분포를 따르면 다음처럼 표기한다.

$$\mathbf{X}\sim\mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})$$

$\boldsymbol{\Sigma}$가 가역일 때 PDF는 다음과 같다.

$$f_{\mathbf{X}}(\mathbf{x}) = \frac{1} {(2\pi)^{n/2}|\boldsymbol{\Sigma}|^{1/2}} \exp\left( -\frac{1}{2} (\mathbf{x}-\boldsymbol{\mu})^{T} \boldsymbol{\Sigma}^{-1} (\mathbf{x}-\boldsymbol{\mu}) \right)$$

$|\boldsymbol{\Sigma}|$는 공분산 행렬의 determinant이다. 지수부의 이차형식은 점 $\mathbf{x}$가 평균으로부터 얼마나 떨어져 있는지를 분산과 변수 사이의 관계까지 고려하여 측정한다.

두 확률변수 $X$, $Y$의 경우 correlation coefficient를 $\rho$라고 하면 결합 PDF는 다음과 같이 쓸 수 있다.

\begin{aligned} f_{X,Y}(x,y) &= \frac{1} {2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}} \\ &\quad\times \exp\left[ -\frac{1}{2(1-\rho^2)} \left{ \left(\frac{x-\mu_X}{\sigma_X}\right)^2 -2\rho \left(\frac{x-\mu_X}{\sigma_X}\right) \left(\frac{y-\mu_Y}{\sigma_Y}\right) +\left(\frac{y-\mu_Y}{\sigma_Y}\right)^2 \right} \right]. \end{aligned}

같은 PDF 값을 갖는 점들을 연결하면 평균을 중심으로 한 ellipse가 나타난다. 각 축 방향의 퍼짐과 ellipse의 기울기는 공분산 행렬이 결정한다. 공분산이 양수이면 두 변수가 함께 증가하는 방향으로, 음수이면 한 변수가 증가할 때 다른 변수가 감소하는 방향으로 분포가 기울어진다.

결합 정규분포에서의 독립성

일반적으로 covariance가 0이라는 사실만으로 두 확률변수가 independent라고 결론 내릴 수는 없다. 그러나 두 변수가 jointly Gaussian이면 예외적으로 uncorrelated와 independent가 같은 의미가 된다.

$$\operatorname{Cov}(X_i,X_j)=0 \quad\Longrightarrow\quad X_i\perp X_j$$

위 명제는 결합 정규분포라는 조건 아래에서만 성립한다. 각 변수의 marginal distribution이 따로 정규분포라는 사실만으로 전체가 결합 정규분포라고 할 수는 없다.

다변량 정규분포에서 공분산 행렬이 diagonal matrix이면 서로 다른 성분 사이의 공분산이 모두 0이다. 따라서 각 성분은 서로 독립이다.

중요 개념 정리

• 여러 확률변수의 결합분포와 조건부분포는 두 변수에서 사용한 정의를 그대로 확장한다.
• Multinomial distribution은 여러 범주가 있는 시행을 반복했을 때 범주별 횟수의 결합분포이다.
• 공분산 행렬의 대각 원소는 분산이고, 대각선 밖의 원소는 변수 쌍의 공분산이다.
• 다변량 정규분포의 모양과 방향은 평균 vector와 공분산 행렬로 결정된다.
• Uncorrelated가 independent를 뜻하는 것은 일반적으로 성립하지 않으며, jointly Gaussian인 경우에 성립한다.