연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 11강

1. Joint PDF에서 영역의 확률 구하기

연속 확률변수 $X,Y$의 joint PDF가 $f_{X,Y}(x,y)$일 때, 순서쌍 $(X,Y)$가 영역 $R$에 들어갈 확률은 다음과 같다.

$$P((X,Y)\in R) = \iint_R f_{X,Y}(x,y)\,dx\,dy$$

Joint PDF는 단위 면적당 확률밀도이고, 이중적분은 영역 $R$ 위에 놓인 밀도의 부피를 모두 더하는 과정이다.

영역이 직사각형이면 각 변수의 적분 범위를 상수로 바로 정할 수 있다.

$$R = \{(x,y):x_1\le x\le x_2,\ y_1\le y\le y_2\}$$ $$P((X,Y)\in R) = \int_{x_1}^{x_2} \int_{y_1}^{y_2} f_{X,Y}(x,y)\,dy\,dx$$

하지만 삼각형이나 원처럼 두 변수의 범위가 서로 연결된 영역에서는 안쪽 적분의 경계가 바깥쪽 변수의 함수가 된다.

---

2. 적분 순서에 따른 범위 설정

다음 영역을 생각하자.

$$R = \{(x,y):0\le x\le y<\infty\}$$

2.1 $x$를 먼저 적분하기

$y$를 하나의 값으로 고정하면 $x$는 0부터 $y$까지 움직인다. 그다음 $y$가 0부터 무한대까지 움직인다.

$$\iint_R f_{X,Y}(x,y)\,dx\,dy = \int_0^{\infty} \int_0^y f_{X,Y}(x,y)\,dx\,dy$$

2.2 $y$를 먼저 적분하기

$x$를 고정하면 $y$는 $x$부터 무한대까지 움직인다. 그다음 $x$가 0부터 무한대까지 움직인다.

$$\iint_R f_{X,Y}(x,y)\,dy\,dx = \int_0^{\infty} \int_x^{\infty} f_{X,Y}(x,y)\,dy\,dx$$

두 적분은 같은 영역을 서로 다른 방향으로 훑는다. 적분 순서를 정한 뒤, 바깥쪽 변수를 잠시 고정하고 안쪽 변수가 지나가는 선분의 시작점과 끝점을 찾으면 범위를 정하기 쉽다.

---

3. 원 안에서 균등한 점

반지름이 $r$인 원 안에서 점 $(X,Y)$를 균등하게 선택한다고 하자. 원의 넓이가 $\pi r^2$이므로 joint PDF는 다음과 같다.

$$f_{X,Y}(x,y) = \begin{cases} \dfrac{1}{\pi r^2}, & x^2+y^2\le r^2,\\ 0, & \text{otherwise}. \end{cases}$$

원 안에서 joint density는 일정하지만 $X$와 $Y$가 각각 독립적인 균등분포를 따르는 것은 아니다. $X=x$가 정해지면 가능한 $Y$의 범위가 $x$에 따라 바뀌기 때문이다.

3.1 전체 확률

직교좌표로 적분하면 다음과 같다.

$$\int_{-r}^{r} \int_{-\sqrt{r^2-x^2}}^{\sqrt{r^2-x^2}} \frac{1}{\pi r^2}\,dy\,dx = 1$$

영역이 원이므로 극좌표를 사용하면 더 간단하다.

$$\int_0^{2\pi} \int_0^r \frac{1}{\pi r^2}\rho\,d\rho\,d\theta = 1$$

3.2 Marginal PDF

$X=x$를 고정했을 때 원 안에서 가능한 $Y$의 범위는 다음과 같다.

$$-\sqrt{r^2-x^2} \le y\le \sqrt{r^2-x^2}$$

따라서 $X$의 marginal PDF는 다음과 같다.

$$\begin{aligned} f_X(x) &=\int_{-\sqrt{r^2-x^2}}^{\sqrt{r^2-x^2}} \frac{1}{\pi r^2}\,dy\\ &=\frac{2\sqrt{r^2-x^2}}{\pi r^2}, \qquad |x|\le r \end{aligned}$$

대칭성에 의해 $Y$의 marginal PDF도 같은 모양이다.

$$f_Y(y) = \frac{2\sqrt{r^2-y^2}}{\pi r^2}, \qquad |y|\le r$$

Joint distribution은 원 안에서 균등하지만 marginal distribution은 구간 $[-r,r]$에서 균등하지 않다. 중심 근처의 단면 길이가 가장 길기 때문에 $X$와 $Y$도 중심 근처의 값을 가질 밀도가 높다.

---

4. 이산 조건부분포

이산 확률변수에서 $X=x$라는 조건 아래 $Y=y$일 조건부 PMF는 다음과 같다.

$$p_{Y\mid X}(y\mid x) = P(Y=y\mid X=x) = \frac{p_{X,Y}(x,y)}{p_X(x)}$$

단, $p_X(x)>0$이어야 한다. 분모 $p_X(x)$는 $X=x$인 경우 전체의 확률이고, 분자는 그중에서 $Y=y$까지 동시에 만족하는 확률이다.

4.1 동전을 세 번 던지는 예시

$X$를 첫 번째 동전이 앞면이면 1, 뒷면이면 0으로 정의하고, $Y$를 세 번 던져 나온 앞면의 총개수로 정의한다.

$X=0$일 때 $Y=1$일 조건부 확률은 다음과 같다.

$$P(Y=1\mid X=0) = \frac{P(X=0,Y=1)}{P(X=0)}$$

Joint PMF와 marginal PMF는 다음과 같다.

$$P(X=0,Y=1) = \frac{2}{8}$$ $$P(X=0) = \frac{1}{2}$$

따라서 다음 결과를 얻는다.

$$P(Y=1\mid X=0) = \frac{2/8}{1/2} = \frac{1}{2}$$

첫 번째 시행이 뒷면으로 고정되었으므로, 남은 두 번 중 정확히 한 번 앞면이 나올 확률과 같다.

---

5. 연속 조건부분포

연속 확률변수에서 한 점의 확률은 0이므로 $P(Y=y\mid X=x)$를 그대로 나누어 정의할 수 없다. 대신 $X=x$ 부근의 아주 작은 구간을 조건으로 잡고 그 폭을 0으로 보내는 극한을 취하면 density의 비율이 남는다.

$$f_{Y\mid X}(y\mid x) = \frac{f_{X,Y}(x,y)}{f_X(x)}$$

단, $f_X(x)>0$인 $x$에서 정의한다. 반대로 $Y=y$가 주어졌을 때의 conditional PDF는 다음과 같다.

$$f_{X\mid Y}(x\mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}$$

Conditional PDF 역시 주어진 조건 아래에서 적분하면 1이 되어야 한다.

$$\int_{-\infty}^{\infty} f_{Y\mid X}(y\mid x)\,dy = 1$$

Joint PDF는 conditional PDF와 marginal PDF의 곱으로 다시 쓸 수 있다.

$$f_{X,Y}(x,y) = f_{Y\mid X}(y\mid x)f_X(x)$$ $$f_{X,Y}(x,y) = f_{X\mid Y}(x\mid y)f_Y(y)$$

5.1 독립인 경우

$X$와 $Y$가 독립이면 $X=x$라는 정보가 $Y$의 분포를 바꾸지 않는다.

$$f_{Y\mid X}(y\mid x) = f_Y(y)$$

이 식에 $f_X(x)$를 곱하면 독립의 joint PDF 조건을 얻는다.

$$f_{X,Y}(x,y) = f_X(x)f_Y(y)$$

---

6. 원 안의 균등분포에서 conditional PDF

앞의 원 안에서 균등한 점을 다시 생각하자. $X=x$를 고정했을 때 $Y$가 움직일 수 있는 구간의 길이는 다음과 같다.

$$2\sqrt{r^2-x^2}$$

Joint density가 일정하므로 이 단면 안에서 $Y$도 균등하게 분포한다. Conditional PDF는 다음과 같다.

$$f_{Y\mid X}(y\mid x) = \begin{cases} \dfrac{1}{2\sqrt{r^2-x^2}}, & |y|\le\sqrt{r^2-x^2},\\ 0, & \text{otherwise}. \end{cases}$$

예를 들어 $r=2$일 때 $X=0$으로 고정하면 $Y$는 $[-2,2]$에서 균등하다.

$$f_{Y\mid X}(y\mid0) = \frac{1}{4}, \qquad -2\le y\le2$$

$X=1$로 고정하면 가능한 범위가 $[-\sqrt{3},\sqrt{3}]$으로 줄어든다.

$$f_{Y\mid X}(y\mid1) = \frac{1}{2\sqrt{3}}, \qquad -\sqrt{3}\le y\le\sqrt{3}$$

$X$의 값에 따라 $Y$의 support와 density 높이가 함께 달라진다. 이것이 conditional distribution을 $x$의 함수로 보는 이유이다.

---

7. 조건부 기댓값

$X=x$가 주어졌을 때 $Y$의 조건부 기댓값은 conditional distribution으로 계산한다.

이산 확률변수에서는 다음과 같다.

$$E[Y\mid X=x] = \sum_y y\,p_{Y\mid X}(y\mid x)$$

연속 확률변수에서는 다음과 같다.

$$E[Y\mid X=x] = \int_{-\infty}^{\infty} y f_{Y\mid X}(y\mid x)\,dy$$

적분은 $y$에 대해 수행하므로 결과에서 $y$는 사라진다. 대신 조건으로 고정했던 값 $x$에 따라 결과가 달라질 수 있으므로 조건부 기댓값은 일반적으로 $x$의 함수이다.

$$g(x) = E[Y\mid X=x]$$

확률변수 $X$ 자체를 넣어 쓰면 $E[Y\mid X]$도 확률변수가 된다.

7.1 확률변수 함수의 조건부 기댓값

$Y$의 함수 $h(Y)$에 대해서는 다음과 같이 계산한다.

$$E[h(Y)\mid X=x] = \int_{-\infty}^{\infty} h(y)f_{Y\mid X}(y\mid x)\,dy$$

Conditional PDF는 그대로 두고 평균을 구할 대상만 $y$에서 $h(y)$로 바꾼다.

7.2 조건부 분산

조건부 분산은 다음과 같다.

$$\operatorname{Var}(Y\mid X=x) = E\left[ \left(Y-E[Y\mid X=x]\right)^2 \middle|X=x \right]$$

계산에는 다음 형태가 편리하다.

$$\operatorname{Var}(Y\mid X=x) = E[Y^2\mid X=x] - \left(E[Y\mid X=x]\right)^2$$

원 안의 균등분포처럼 conditional distribution이 $x$에 따라 좁아지거나 넓어지면 조건부 분산 역시 $x$의 함수가 된다.

---

중요 개념 정리

• 비직사각형 support에서는 한 변수를 고정한 단면을 보고 안쪽 적분 범위를 정한다.
• Marginal distribution은 joint distribution에서 다른 변수를 가능한 전체 범위에 걸쳐 합하거나 적분한 결과이다.
• Conditional distribution은 한 변수의 값을 고정했을 때 남은 변수의 분포이다.
• 이산에서는 $p_{Y\mid X}=p_{X,Y}/p_X$, 연속에서는 $f_{Y\mid X}=f_{X,Y}/f_X$이다.
• 조건부 기댓값 $E[Y\mid X=x]$은 $y$를 평균낸 결과이며 일반적으로 조건값 $x$의 함수이다.
• 조건부 분산은 $E[Y^2\mid X=x]-(E[Y\mid X=x])^2$으로 계산할 수 있다.