연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 6강

1. 기하분포

성공 확률이 pp인 독립적인 시행을 성공할 때까지 반복한다고 하자. 첫 성공이 나올 때까지 수행한 전체 시행 횟수를 확률변수 KK로 정의하면 KK는 기하분포(geometric distribution)를 따른다.

K∼Geometric⁡(p)K\sim\operatorname{Geometric}(p)

예를 들어 주사위에서 처음으로 6이 나올 때까지 던진 횟수나, packet이 성공적으로 전달될 때까지 재전송한 횟수를 모델링할 수 있다.

첫 성공이 kk번째 시행에서 나오려면 앞의 k−1k-1번은 모두 실패하고 마지막 시행은 성공해야 한다.

P(K=k)=(1−p)k−1p,k=1,2,3,…P(K=k) = (1-p)^{k-1}p, \qquad k=1,2,3,\ldots

최소 한 번은 시행해야 하므로 KK의 가능한 값은 0이 아니라 1부터 시작한다.

1.1 확률의 합

기하급수를 이용하면 전체 확률이 1임을 확인할 수 있다.

∑k=1∞P(K=k)=p∑k=1∞(1−p)k−1=p∑j=0∞(1−p)j=p11−(1−p)=1\begin{aligned} \sum_{k=1}^{\infty}P(K=k) &=p\sum_{k=1}^{\infty}(1-p)^{k-1}\\ &=p\sum_{j=0}^{\infty}(1-p)^j\\ &=p\frac{1}{1-(1-p)}\\ &=1 \end{aligned}

1.2 꼬리확률

K>mK>m이라는 것은 처음 mm번의 시행이 모두 실패했다는 뜻이다. 따라서 무한급수를 직접 더하지 않고 다음과 같이 계산할 수 있다.

P(K>m)=(1−p)mP(K>m) = (1-p)^m

반대로 mm번 이내에 한 번 이상 성공할 확률은 다음과 같다.

P(K≤m)=1−(1−p)mP(K\le m) = 1-(1-p)^m

2. 기하분포의 평균

기댓값의 정의를 적용하면 다음과 같다.

E[K]=∑k=1∞k(1−p)k−1pE[K] = \sum_{k=1}^{\infty}k(1-p)^{k-1}p

무한등비급수에서 다음 관계를 이용할 수 있다.

∑k=0∞(1−p)k=1p\sum_{k=0}^{\infty}(1-p)^k = \frac{1}{p}

양변을 pp에 대해 미분하면 다음 식을 얻는다.

∑k=1∞k(1−p)k−1=1p2\sum_{k=1}^{\infty}k(1-p)^{k-1} = \frac{1}{p^2}

따라서 기하분포의 평균은 다음과 같다.

E[K]=p1p2=1pE[K] = p\frac{1}{p^2} = \frac{1}{p}

성공 확률이 p=1/3p=1/3이면 첫 성공까지 평균 3번의 시행이 필요하고, p=1/2p=1/2이면 평균 2번의 시행이 필요하다.

3. 기하분포의 분산

기하분포의 2차 모멘트는 다음과 같다.

E[K2]=∑k=1∞k2(1−p)k−1pE[K^2] = \sum_{k=1}^{\infty}k^2(1-p)^{k-1}p

무한등비급수를 두 번 미분하여 정리하면 다음 결과를 얻는다.

E[K2]=2−pp2E[K^2] = \frac{2-p}{p^2}

분산 공식에 대입하면 다음과 같다.

Var⁡(K)=E[K2]−(E[K])2=2−pp2−1p2=1−pp2\begin{aligned} \operatorname{Var}(K) &=E[K^2]-\bigl(E[K]\bigr)^2\\ &=\frac{2-p}{p^2}-\frac{1}{p^2}\\ &=\frac{1-p}{p^2} \end{aligned}

pp가 작을수록 첫 성공까지 필요한 평균 시행 횟수뿐 아니라 시행 횟수의 변동도 커진다.

4. 평균과 제곱오차

평균은 단순히 데이터를 더해 개수로 나눈 값 이상의 의미를 갖는다. 데이터 a1,a2,…,ana_1,a_2,\ldots,a_n을 하나의 값 xx로 대표한다고 하자. 각 데이터와 xx의 차이를 제곱해 더한 함수를 다음과 같이 정의한다.

J(x)=∑i=1n(x−ai)2J(x) = \sum_{i=1}^{n}(x-a_i)^2

J(x)J(x)를 최소화하는 xx를 찾기 위해 미분한다.

dJdx=2∑i=1n(x−ai)\frac{dJ}{dx} = 2\sum_{i=1}^{n}(x-a_i)

미분값을 0으로 두면 다음 결과를 얻는다.

x=1n∑i=1nai=aˉx = \frac{1}{n}\sum_{i=1}^{n}a_i = \bar{a}

즉 데이터와의 제곱오차 합을 가장 작게 만드는 하나의 대표값은 평균이다.

최소점 x=aˉx=\bar{a}를 다시 목적함수에 대입하면 다음과 같다.

J(aˉ)=∑i=1n(ai−aˉ)2J(\bar{a}) = \sum_{i=1}^{n}(a_i-\bar{a})^2

이를 nn으로 나눈 값이 데이터의 분산이다.

1nJ(aˉ)=1n∑i=1n(ai−aˉ)2\frac{1}{n}J(\bar{a}) = \frac{1}{n}\sum_{i=1}^{n}(a_i-\bar{a})^2

따라서 평균은 제곱오차를 최소화하는 추정값이고, 분산은 그때 남는 평균 제곱오차이다.

4.1 확률변수에 대한 해석

확률변수 XX를 상수 aa로 추정할 때 평균 제곱오차는 다음과 같다.

E[(X−a)2]E[(X-a)^2]

이 값을 최소화하는 상수는 XX의 평균이다.

a∗=E[X]a^*=E[X]

최소가 된 평균 제곱오차는 분산과 같다.

E[(X−a∗)2]=Var⁡(X)E[(X-a^*)^2] = \operatorname{Var}(X)

측정값에 random noise가 섞여 있을 때 여러 번 측정한 값의 평균을 추정값으로 사용하는 이유도 이 해석과 연결된다.

4.2 주사위 값을 하나로 예측하기

공정한 주사위의 결과를 던지기 전에 하나의 값으로 예측하고, 실제 결과와 예측값 사이의 제곱오차를 평가한다고 하자. 주사위 결과의 평균은 다음과 같다.

E[X]=1+2+3+4+5+66=3.5E[X] = \frac{1+2+3+4+5+6}{6} = 3.5

따라서 1이나 6처럼 한쪽 끝의 값을 고르는 것보다 3.5를 예측값으로 사용할 때 장기적인 평균 제곱오차가 가장 작다.

5. 중앙값과 절대오차

오차를 제곱하지 않고 절댓값으로 측정하면 최소점을 만드는 대표값이 달라진다.

L(x)=∑i=1n∣x−ai∣L(x) = \sum_{i=1}^{n}|x-a_i|

L(x)L(x)를 최소화하는 값은 데이터의 중앙값(median)이다. 확률분포에서는 누적 확률이 절반에 도달하는 위치가 중앙값에 해당한다.

P(X≤m)≥12,P(X≥m)≥12P(X\le m)\ge\frac{1}{2}, \qquad P(X\ge m)\ge\frac{1}{2}

정리하면 손실함수를 어떻게 정하느냐에 따라 적절한 대표값이 달라진다.

  • squared error를 최소화하는 값은 평균이다.
  • absolute error를 최소화하는 값은 중앙값이다.

분포가 좌우 대칭이면 평균과 중앙값이 같을 수 있지만, 한쪽으로 치우친 분포에서는 두 값이 달라질 수 있다.

6. 조건부 평균

사건 AA가 일어났다는 조건 아래에서 확률변수 XX의 평균을 구한 값을 조건부 평균(conditional mean)이라고 한다.

E[X∣A]E[X\mid A]

조건 AA는 가능한 전체 결과를 AA에 해당하는 범위로 제한한다. 제한된 범위 안에서 확률의 합이 다시 1이 되도록 정규화한 뒤 평균을 계산한다.

6.1 이산 확률변수

이산 확률변수에서는 조건부 확률을 가중치로 사용한다.

E[X∣A]=∑xi∈AxiP(X=xi∣A)E[X\mid A] = \sum_{x_i\in A}x_iP(X=x_i\mid A)

조건부 확률의 정의를 적용하면 다음과 같다.

P(X=xi∣A)=P({X=xi}∩A)P(A)P(X=x_i\mid A) = \frac{P(\{X=x_i\}\cap A)}{P(A)}

6.2 연속 확률변수

연속 확률변수에서는 조건부 PDF를 사용한다.

E[X∣A]=∫x∈AxfX∣A(x) dxE[X\mid A] = \int_{x\in A}x f_{X\mid A}(x)\,dx

조건부 PDF를 바로 구하기 어려우면 먼저 조건부 CDF를 확률로 표현한다.

FX∣A(x)=P(X≤x∣A)=P({X≤x}∩A)P(A)F_{X\mid A}(x) = P(X\le x\mid A) = \frac{P(\{X\le x\}\cap A)}{P(A)}

그다음 xx에 대해 미분하면 조건부 PDF를 얻는다.

fX∣A(x)=ddxFX∣A(x)f_{X\mid A}(x) = \frac{d}{dx}F_{X\mid A}(x)

7. 균등분포의 조건부 평균

다음 균등분포를 생각하자.

X∼U(40,60)X\sim U(40,60)

조건이 없을 때 평균은 구간의 중점인 50이다.

E[X]=50E[X]=50

7.1 X≤55X\le55라는 조건

X≤55X\le55라는 사실을 알고 있다면 가능한 범위는 [40,55][40,55]로 줄어든다. 원래 PDF의 높이는 1/201/20이지만, 제한된 구간에서 전체 면적이 1이 되도록 다시 정규화하면 조건부 PDF는 다음과 같다.

fX∣X≤55(x)={115,40≤x≤55,0,otherwise.f_{X\mid X\le55}(x) = \begin{cases} \dfrac{1}{15}, & 40\le x\le55,\\ 0, & \text{otherwise}. \end{cases}

조건부 평균은 새 구간의 중점이다.

E[X∣X≤55]=47.5E[X\mid X\le55] = 47.5

7.2 X>55X>55라는 조건

X>55X>55라는 조건에서는 가능한 범위가 [55,60][55,60]으로 줄어든다.

fX∣X>55(x)={15,55<x≤60,0,otherwise.f_{X\mid X>55}(x) = \begin{cases} \dfrac{1}{5}, & 55<x\le60,\\ 0, & \text{otherwise}. \end{cases}

따라서 조건부 평균은 다음과 같다.

E[X∣X>55]=57.5E[X\mid X>55] = 57.5

조건부 평균은 원래 평균을 그대로 사용하는 것이 아니라, 주어진 정보로 가능한 범위를 제한한 뒤 그 안에서 평균을 다시 구한 값이다.

중요 개념 정리

  • 기하분포는 첫 성공이 나올 때까지의 시행 횟수를 나타낸다.
  • 기하분포의 평균은 1/p1/p, 분산은 (1−p)/p2(1-p)/p^2이다.
  • 평균은 squared error를 최소화하고, 중앙값은 absolute error를 최소화한다.
  • 분산은 평균을 추정값으로 사용했을 때 남는 최소 평균 제곱오차로 해석할 수 있다.
  • 조건부 평균은 주어진 사건 안에서 확률을 다시 정규화하여 계산한 평균이다.
  • 연속 확률변수의 조건부 PDF가 필요하면 조건부 CDF를 먼저 구한 뒤 미분할 수 있다.