연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 10강

1. 여러 확률변수를 함께 다루기

확률변수 하나를 다룰 때는 XX가 특정 값이나 구간에 들어갈 확률을 구했다. 두 확률변수 X,YX,Y를 함께 다룰 때는 두 조건이 동시에 일어날 확률을 생각한다.

이산 확률변수에서는 다음과 같은 확률이 기본 단위이다.

P(X=x,Y=y)P(X=x,Y=y)

연속 확률변수에서는 한 점의 확률이 0이므로 (X,Y)(X,Y)가 평면의 특정 영역에 들어갈 확률을 계산한다.

두 확률변수의 가능한 값은 순서쌍 (x,y)(x,y)로 표현된다. 확률변수가 세 개라면 (x,y,z)(x,y,z)로 확장되며, 변수의 수만큼 확률을 다루는 공간의 차원도 늘어난다.

2. 결합누적분포함수

두 확률변수 X,YX,Y의 결합누적분포함수(joint cumulative distribution function)는 다음과 같이 정의한다.

FX,Y(x,y)=P(X≤x,Y≤y)F_{X,Y}(x,y) = P(X\le x,Y\le y)

xyxy 평면에서 보면 (x,y)(x,y)의 왼쪽 아래에 있는 모든 확률을 누적한 값이다. 확률변수 하나의 CDF가 수직선 위의 구간을 누적했다면 joint CDF는 평면의 영역을 누적한다.

2.1 기본 성질

Joint CDF는 확률이므로 다음 범위에 있다.

0≤FX,Y(x,y)≤10\le F_{X,Y}(x,y)\le1

xx를 고정하면 yy에 대해 감소하지 않고, yy를 고정하면 xx에 대해 감소하지 않는다.

x1≤x2⟹FX,Y(x1,y)≤FX,Y(x2,y)x_1\le x_2 \quad\Longrightarrow\quad F_{X,Y}(x_1,y)\le F_{X,Y}(x_2,y) y1≤y2⟹FX,Y(x,y1)≤FX,Y(x,y2)y_1\le y_2 \quad\Longrightarrow\quad F_{X,Y}(x,y_1)\le F_{X,Y}(x,y_2)

두 변수를 모두 양의 무한대로 보내면 가능한 전체 영역을 포함하므로 1에 수렴한다.

FX,Y(∞,∞)=1F_{X,Y}(\infty,\infty)=1

어느 한 변수라도 음의 무한대로 보내면 동시에 만족할 수 있는 영역이 사라지므로 0에 수렴한다.

FX,Y(−∞,y)=0F_{X,Y}(-\infty,y)=0 FX,Y(x,−∞)=0F_{X,Y}(x,-\infty)=0

3. Joint CDF로 영역의 확률 구하기

두 확률변수가 직사각형 영역에 들어갈 확률을 생각하자.

P(x1<X≤x2, y1<Y≤y2)P(x_1<X\le x_2,\ y_1<Y\le y_2)

가장 큰 직사각형의 누적 확률에서 왼쪽과 아래쪽 영역을 빼면 겹친 왼쪽 아래 영역이 두 번 빠진다. 이를 한 번 다시 더하면 다음 식을 얻는다.

P(x1<X≤x2, y1<Y≤y2)=FX,Y(x2,y2)−FX,Y(x1,y2)−FX,Y(x2,y1)+FX,Y(x1,y1)\begin{aligned} &P(x_1<X\le x_2,\ y_1<Y\le y_2)\\ &=F_{X,Y}(x_2,y_2) -F_{X,Y}(x_1,y_2) -F_{X,Y}(x_2,y_1) +F_{X,Y}(x_1,y_1) \end{aligned}

집합의 포함·배제 원리를 CDF의 직사각형 영역에 적용한 형태이다.

3.1 두 변수가 모두 기준보다 클 확률

X>aX>a이고 Y>bY>b인 확률은 전체 확률에서 두 여집합을 빼고 겹치는 부분을 다시 더하여 계산한다.

P(X>a,Y>b)=1−FX(a)−FY(b)+FX,Y(a,b)P(X>a,Y>b) = 1-F_X(a)-F_Y(b)+F_{X,Y}(a,b)

FX,FYF_X,F_Y는 각각의 marginal CDF이다.

4. 주변누적분포함수

Joint distribution에서 다른 변수를 고려하지 않고 한 변수의 분포만 남긴 것을 주변분포(marginal distribution)라고 한다.

XX의 marginal CDF는 YY가 가질 수 있는 모든 값을 허용하여 구한다.

FX(x)=P(X≤x)=FX,Y(x,∞)F_X(x) = P(X\le x) = F_{X,Y}(x,\infty)

마찬가지로 YY의 marginal CDF는 다음과 같다.

FY(y)=FX,Y(∞,y)F_Y(y) = F_{X,Y}(\infty,y)

다른 변수를 무한대로 보낸다는 것은 그 변수에 관한 조건을 없애고 가능한 경우를 전부 포함한다는 뜻이다.

5. 이산 확률변수의 joint PMF

이산 확률변수 X,YX,Y의 joint PMF는 다음과 같이 정의한다.

pX,Y(x,y)=P(X=x,Y=y)p_{X,Y}(x,y) = P(X=x,Y=y)

각 값은 음수가 아니며 가능한 모든 순서쌍의 확률을 더하면 1이다.

pX,Y(x,y)≥0p_{X,Y}(x,y)\ge0 ∑x∑ypX,Y(x,y)=1\sum_x\sum_y p_{X,Y}(x,y)=1

Joint CDF는 기준값 이하에 놓인 joint PMF를 모두 더하여 얻는다.

FX,Y(x,y)=∑u≤x∑v≤ypX,Y(u,v)F_{X,Y}(x,y) = \sum_{u\le x}\sum_{v\le y}p_{X,Y}(u,v)

5.1 Marginal PMF

XX의 marginal PMF를 구하려면 xx를 고정하고 가능한 모든 yy에 대해 joint PMF를 더한다.

pX(x)=∑ypX,Y(x,y)p_X(x) = \sum_y p_{X,Y}(x,y)

YY의 marginal PMF는 반대로 모든 xx에 대해 더한다.

pY(y)=∑xpX,Y(x,y)p_Y(y) = \sum_x p_{X,Y}(x,y)

표 형태의 joint PMF에서는 한 행이나 열을 합하여 marginal PMF를 얻는다고 볼 수 있다.

6. 동전을 세 번 던지는 예시

공정한 동전을 세 번 던진다. 첫 번째 시행에서 앞면이 나오면 X=1X=1, 뒷면이 나오면 X=0X=0으로 정의한다. 세 번의 시행에서 나온 앞면의 전체 개수를 YY라고 정의한다.

X∈{0,1},Y∈{0,1,2,3}X\in\{0,1\}, \qquad Y\in\{0,1,2,3\}

여덟 개 결과의 확률이 모두 1/81/8이므로 joint PMF는 다음과 같다.

pX,Y(x,y)p_{X,Y}(x,y)y=0y=0y=1y=1y=2y=2y=3y=3pX(x)p_X(x)
x=0x=01/81/82/82/81/81/8001/21/2
x=1x=1001/81/82/82/81/81/81/21/2
pY(y)p_Y(y)1/81/83/83/83/83/81/81/811

예를 들어 X=0,Y=1X=0,Y=1이 되려면 첫 번째 결과는 뒷면이고 나머지 두 번 중 정확히 한 번만 앞면이어야 한다. 가능한 결과는 THT,TTHTHT,TTH 두 개이므로 확률은 2/82/8이다.

6.1 독립인지 확인하기

확률변수 X,YX,Y가 독립이라면 모든 가능한 x,yx,y에 대해 다음 식이 성립해야 한다.

pX,Y(x,y)=pX(x)pY(y)p_{X,Y}(x,y) = p_X(x)p_Y(y)

x=1,y=2x=1,y=2를 대입하면 joint PMF는 다음과 같다.

pX,Y(1,2)=28=14p_{X,Y}(1,2) = \frac{2}{8} = \frac{1}{4}

Marginal PMF의 곱은 다음과 같다.

pX(1)pY(2)=12⋅38=316p_X(1)p_Y(2) = \frac{1}{2}\cdot\frac{3}{8} = \frac{3}{16}

두 값이 다르므로 XX와 YY는 독립이 아니다. 실제로 XX는 전체 앞면 개수 YY에 포함된 첫 번째 시행의 결과이므로 두 확률변수는 서로 영향을 받는다.

7. 연속 확률변수의 joint PDF

연속 확률변수 X,YX,Y의 joint PDF는 joint CDF를 두 변수에 대해 편미분하여 얻는다.

fX,Y(x,y)=∂2∂x ∂yFX,Y(x,y)f_{X,Y}(x,y) = \frac{\partial^2}{\partial x\,\partial y} F_{X,Y}(x,y)

반대로 joint PDF를 왼쪽 아래 영역에 대해 이중적분하면 joint CDF가 된다.

FX,Y(x,y)=∫−∞x∫−∞yfX,Y(u,v) dv duF_{X,Y}(x,y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f_{X,Y}(u,v)\,dv\,du

Joint PDF는 단위 면적당 확률밀도이다. 함수의 높이 자체가 확률은 아니며, 평면의 영역에 대해 적분해야 확률이 된다.

7.1 기본 성질

Joint PDF는 음수가 아니어야 한다.

fX,Y(x,y)≥0f_{X,Y}(x,y)\ge0

전체 평면에서 적분하면 1이다.

∫−∞∞∫−∞∞fX,Y(x,y) dy dx=1\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f_{X,Y}(x,y)\,dy\,dx = 1

직사각형 영역의 확률은 다음과 같다.

P(x1<X≤x2, y1<Y≤y2)=∫x1x2∫y1y2fX,Y(x,y) dy dxP(x_1<X\le x_2,\ y_1<Y\le y_2) = \int_{x_1}^{x_2} \int_{y_1}^{y_2} f_{X,Y}(x,y)\,dy\,dx

한 변수의 PDF 아래 면적이 확률이었다면, 두 변수의 joint PDF에서는 곡면 아래 부피가 확률에 해당한다.

7.2 Marginal PDF

XX의 marginal PDF는 YY에 대해 전체 구간을 적분하여 구한다.

fX(x)=∫−∞∞fX,Y(x,y) dyf_X(x) = \int_{-\infty}^{\infty}f_{X,Y}(x,y)\,dy

YY의 marginal PDF는 XX를 적분하여 구한다.

fY(y)=∫−∞∞fX,Y(x,y) dxf_Y(y) = \int_{-\infty}^{\infty}f_{X,Y}(x,y)\,dx

Joint distribution에서 필요하지 않은 변수를 합이나 적분으로 없애는 과정을 marginalization이라고 한다.

8. 확률변수의 독립

두 확률변수 X,YX,Y가 독립이라는 것은 한 변수에 관한 정보가 다른 변수의 분포를 바꾸지 않는다는 뜻이다.

Joint CDF는 다음과 같이 분리된다.

FX,Y(x,y)=FX(x)FY(y)F_{X,Y}(x,y) = F_X(x)F_Y(y)

이산 확률변수에서는 joint PMF가 marginal PMF의 곱으로 분리된다.

pX,Y(x,y)=pX(x)pY(y)p_{X,Y}(x,y) = p_X(x)p_Y(y)

연속 확률변수에서는 joint PDF가 marginal PDF의 곱으로 분리된다.

fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y) = f_X(x)f_Y(y)

일부 값에서만 우연히 식이 맞는 것으로는 부족하다. 가능한 모든 x,yx,y에 대해 곱으로 분리되어야 독립이다.

중요 개념 정리

  • Joint distribution은 둘 이상의 확률변수가 동시에 어떤 값을 갖는지를 나타낸다.
  • Joint CDF FX,Y(x,y)F_{X,Y}(x,y)는 X≤xX\le x와 Y≤yY\le y를 동시에 만족하는 영역의 누적 확률이다.
  • 직사각형 영역의 확률은 네 모서리의 joint CDF를 포함·배제 방식으로 조합해 구한다.
  • 필요하지 않은 변수를 이산에서는 합하고 연속에서는 적분하면 marginal distribution을 얻는다.
  • 연속 확률변수의 joint PDF는 단위 면적당 확률밀도이며 영역에 대해 이중적분해야 확률이 된다.
  • 독립인 확률변수의 joint distribution은 각각의 marginal distribution의 곱으로 분리된다.