연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 12강

1. 조건부 기댓값 복습

Y=yY=y라는 조건 아래에서 XX의 평균을 구하면 다음과 같다.

이산 확률변수에서는 conditional PMF를 사용한다.

E[X∣Y=y]=∑xx pX∣Y(x∣y)E[X\mid Y=y] = \sum_x x\,p_{X\mid Y}(x\mid y)

연속 확률변수에서는 conditional PDF를 사용한다.

E[X∣Y=y]=∫−∞∞xfX∣Y(x∣y) dxE[X\mid Y=y] = \int_{-\infty}^{\infty} x f_{X\mid Y}(x\mid y)\,dx

평균을 내는 변수는 xx이므로 적분이나 합을 수행하면 xx는 사라진다. 결과는 보통 조건으로 주어진 yy의 함수가 된다.

g(y)=E[X∣Y=y]g(y) = E[X\mid Y=y]

Y=yY=y라는 조건을 숫자로 고정하지 않고 확률변수 형태로 두면 다음과 같이 쓴다.

E[X∣Y]=g(Y)E[X\mid Y] = g(Y)

따라서 조건부 기댓값 자체도 YY에 의해 값이 달라지는 확률변수이다.

1.1 조건부 분산

Y=yY=y가 주어졌을 때 XX의 조건부 분산은 다음과 같다.

Var⁡(X∣Y=y)=E[X2∣Y=y]−(E[X∣Y=y])2\operatorname{Var}(X\mid Y=y) = E[X^2\mid Y=y] - \left(E[X\mid Y=y]\right)^2

조건값 yy에 따라 XX가 가질 수 있는 범위나 conditional density가 달라지므로, 조건부 평균과 조건부 분산도 일반적으로 yy의 함수이다.

2. 확률변수 함수의 기댓값

하나의 확률변수로 만든 함수 g(X)g(X)의 기댓값은 g(X)g(X)의 분포를 새로 구하지 않고 XX의 분포로 계산할 수 있다.

E[g(X)]=∫−∞∞g(x)fX(x) dxE[g(X)] = \int_{-\infty}^{\infty}g(x)f_X(x)\,dx

두 확률변수로 만든 함수 h(X,Y)h(X,Y)도 같은 방식으로 joint PDF를 사용한다.

E[h(X,Y)]=∫−∞∞∫−∞∞h(x,y)fX,Y(x,y) dx dyE[h(X,Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} h(x,y)f_{X,Y}(x,y)\,dx\,dy

이산 확률변수에서는 이중적분 대신 가능한 모든 순서쌍에 대한 합을 사용한다.

E[h(X,Y)]=∑x∑yh(x,y)pX,Y(x,y)E[h(X,Y)] = \sum_x\sum_y h(x,y)p_{X,Y}(x,y)

이 원리를 이용하면 Z=h(X,Y)Z=h(X,Y)의 distribution을 먼저 구하지 않고도 E[Z]E[Z]를 계산할 수 있다.

3. 전체 기댓값의 법칙

YY의 각 값에 대해 XX의 조건부 기댓값을 구한 뒤, 그 결과를 YY의 분포로 다시 평균내면 XX의 원래 기댓값이 된다.

E[E[X∣Y]]=E[X]E\left[E[X\mid Y]\right] = E[X]

이를 전체 기댓값의 법칙(law of total expectation) 또는 tower property라고 한다.

3.1 이산 확률변수에서 확인하기

E[E[X∣Y]]=∑yE[X∣Y=y]pY(y)=∑y∑xx pX∣Y(x∣y)pY(y)=∑y∑xx pX,Y(x,y)=∑xx pX(x)=E[X]\begin{aligned} E\left[E[X\mid Y]\right] &=\sum_y E[X\mid Y=y]p_Y(y)\\ &=\sum_y\sum_x x\,p_{X\mid Y}(x\mid y)p_Y(y)\\ &=\sum_y\sum_x x\,p_{X,Y}(x,y)\\ &=\sum_x x\,p_X(x)\\ &=E[X] \end{aligned}

각 조건 Y=yY=y 안에서 평균을 구하고, 각 조건이 발생할 확률로 다시 가중평균한 것이다. 사건의 partition에 조건부 확률을 적용하는 total probability와 같은 구조이다.

3.2 연속 확률변수에서 확인하기

E[E[X∣Y]]=∫−∞∞E[X∣Y=y]fY(y) dy=∫−∞∞∫−∞∞xfX∣Y(x∣y)fY(y) dx dy=∫−∞∞∫−∞∞xfX,Y(x,y) dx dy=E[X]\begin{aligned} E\left[E[X\mid Y]\right] &=\int_{-\infty}^{\infty} E[X\mid Y=y]f_Y(y)\,dy\\ &=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x f_{X\mid Y}(x\mid y)f_Y(y)\,dx\,dy\\ &=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x f_{X,Y}(x,y)\,dx\,dy\\ &=E[X] \end{aligned}

Conditional PDF와 marginal PDF의 곱이 joint PDF가 된다는 관계를 사용한 결과이다.

4. 공분산

공분산(covariance)은 두 확률변수가 평균을 기준으로 같은 방향으로 움직이는지, 반대 방향으로 움직이는지를 측정한다.

평균을 다음과 같이 두자.

μX=E[X],μY=E[Y]\mu_X=E[X], \qquad \mu_Y=E[Y]

X,YX,Y의 공분산은 다음과 같이 정의한다.

Cov⁡(X,Y)=E[(X−μX)(Y−μY)]\operatorname{Cov}(X,Y) = E[(X-\mu_X)(Y-\mu_Y)]

공분산이 양수이면 두 변수가 평균보다 크거나 작은 방향이 대체로 같고, 음수이면 한 변수가 평균보다 클 때 다른 변수는 평균보다 작은 경향이 있다.

4.1 계산에 편리한 형태

식을 전개하고 기댓값의 선형성을 적용하면 다음 결과를 얻는다.

Cov⁡(X,Y)=E[XY]−E[X]E[Y]\operatorname{Cov}(X,Y) = E[XY]-E[X]E[Y]

연속 확률변수에서 E[XY]E[XY]는 joint PDF로 계산한다.

E[XY]=∫−∞∞∫−∞∞xyfX,Y(x,y) dx dyE[XY] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} xy f_{X,Y}(x,y)\,dx\,dy

같은 확률변수를 두 번 넣으면 분산이 된다.

Cov⁡(X,X)=Var⁡(X)=σX2\operatorname{Cov}(X,X) = \operatorname{Var}(X) = \sigma_X^2

4.2 공분산의 크기

공분산의 단위는 XX의 단위와 YY의 단위를 곱한 것이다. 따라서 변수의 scale이 바뀌면 공분산의 크기도 바뀌며, 숫자만 보고 관계의 강도를 서로 비교하기 어렵다. 이 문제를 해결하기 위해 공분산을 표준편차로 정규화한 상관계수를 사용한다.

5. Uncorrelated와 independent

공분산이 0인 두 확률변수를 uncorrelated라고 한다.

Cov⁡(X,Y)=0\operatorname{Cov}(X,Y)=0

두 확률변수가 독립이면 joint distribution이 marginal distribution의 곱으로 분리된다. 연속 확률변수에서는 다음과 같다.

fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y) = f_X(x)f_Y(y)

이때 E[XY]E[XY]도 분리된다.

E[XY]=E[X]E[Y]E[XY] = E[X]E[Y]

따라서 두 변수가 독립이고 기댓값들이 존재하면 공분산은 0이다.

X⊥Y⟹Cov⁡(X,Y)=0X\perp Y \quad\Longrightarrow\quad \operatorname{Cov}(X,Y)=0

반대 방향은 일반적으로 성립하지 않는다. 공분산은 두 변수 사이의 선형적인 관계만 측정하기 때문이다.

예를 들어 XX가 [−1,1][-1,1]에서 대칭인 분포를 따르고 Y=X2Y=X^2라고 하자. YY는 XX에 의해 완전히 결정되므로 독립이 아니지만, 대칭성 때문에 다음 결과가 나올 수 있다.

Cov⁡(X,X2)=E[X3]−E[X]E[X2]=0\operatorname{Cov}(X,X^2) = E[X^3]-E[X]E[X^2] = 0

즉 uncorrelated는 선형적인 동조가 없다는 뜻이지, 모든 형태의 의존성이 없다는 뜻은 아니다.

6. 상관계수

상관계수(correlation coefficient)는 공분산을 두 변수의 표준편차로 나눈 값이다.

ρX,Y=Cov⁡(X,Y)σXσY\rho_{X,Y} = \frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}

σX\sigma_X와 σY\sigma_Y가 모두 0보다 클 때 정의한다. 표준편차로 나누었기 때문에 단위가 없고 변수의 scale에 영향을 받지 않는다.

상관계수의 범위는 다음과 같다.

−1≤ρX,Y≤1-1\le\rho_{X,Y}\le1
  • ρX,Y\rho_{X,Y}가 1에 가까우면 강한 양의 선형 관계가 있다.
  • ρX,Y\rho_{X,Y}가 -1에 가까우면 강한 음의 선형 관계가 있다.
  • ρX,Y=0\rho_{X,Y}=0이면 두 변수는 uncorrelated이지만 독립이라고 단정할 수는 없다.

6.1 선형 관계의 상관계수

Y=aX+bY=aX+b이고 a≠0a\ne0이라고 하자. 공분산은 다음과 같다.

Cov⁡(X,Y)=Cov⁡(X,aX+b)=aσX2\operatorname{Cov}(X,Y) = \operatorname{Cov}(X,aX+b) = a\sigma_X^2

YY의 표준편차는 다음과 같다.

σY=∣a∣σX\sigma_Y = |a|\sigma_X

따라서 상관계수는 다음과 같다.

ρX,Y=aσX2σX∣a∣σX=a∣a∣\rho_{X,Y} = \frac{a\sigma_X^2}{\sigma_X|a|\sigma_X} = \frac{a}{|a|}

a>0a>0이면 ρX,Y=1\rho_{X,Y}=1이고, a<0a<0이면 ρX,Y=−1\rho_{X,Y}=-1이다. 절편 bb는 두 변수의 동시 변화 방향을 바꾸지 않으므로 상관계수에 영향을 주지 않는다.

7. Cauchy-Schwarz 부등식과 상관계수의 범위

확률변수도 inner product를 정의할 수 있는 함수 공간의 원소로 볼 수 있다. 다음과 같이 inner product를 정의하자.

⟨U,V⟩=E[UV]\langle U,V\rangle = E[UV]

Cauchy-Schwarz 부등식은 다음과 같다.

∣E[UV]∣2≤E[U2]E[V2]|E[UV]|^2 \le E[U^2]E[V^2]

평균을 제거한 확률변수를 대입한다.

U=X−μX,V=Y−μYU=X-\mu_X, \qquad V=Y-\mu_Y

왼쪽은 공분산의 제곱이고 오른쪽은 각 분산의 곱이다.

Cov⁡(X,Y)2≤σX2σY2\operatorname{Cov}(X,Y)^2 \le \sigma_X^2\sigma_Y^2

양변의 제곱근을 취하면 다음과 같다.

∣Cov⁡(X,Y)∣≤σXσY|\operatorname{Cov}(X,Y)| \le \sigma_X\sigma_Y

표준편차의 곱으로 나누면 상관계수의 범위를 얻는다.

∣ρX,Y∣≤1|\rho_{X,Y}|\le1

등호는 평균을 제거한 두 확률변수가 상수배 관계일 때 성립한다. 즉 확률 1로 Y=aX+bY=aX+b 형태의 완전한 선형 관계가 있을 때 상관계수의 절댓값이 1이 된다.

중요 개념 정리

  • 조건부 기댓값 E[X∣Y]E[X\mid Y]은 일반적으로 조건 변수 YY의 함수인 확률변수이다.
  • 조건부 기댓값을 조건 변수에 대해 다시 평균내면 원래 기댓값이 된다.
  • 두 변수로 만든 함수의 기댓값은 joint distribution을 사용해 계산할 수 있다.
  • 공분산은 두 확률변수의 선형적인 동조 방향을 나타낸다.
  • 독립이면 uncorrelated이지만, uncorrelated라고 해서 반드시 독립인 것은 아니다.
  • 상관계수는 공분산을 표준편차로 정규화한 값이며 항상 -1과 1 사이에 있다.
  • 상관계수의 절댓값이 1이면 두 변수 사이에 완전한 affine 관계가 있다.