연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 7강

1. 평균을 추정값으로 사용하는 이유

확률변수 XX의 값을 하나의 상수 x^\hat{x}로 예측한다고 하자. 예측값과 실제값 사이의 평균 제곱오차는 다음과 같다.

E[(X−x^)2]E\left[(X-\hat{x})^2\right]

이 값을 가장 작게 만드는 상수는 평균이다.

x^=E[X]=μ\hat{x}=E[X]=\mu

평균을 선택하면 장기적으로 제곱오차가 가장 작지만, 매번 관측되는 XX가 평균에 가깝다는 보장은 없다. 실제 관측값이 평균에서 얼마나 멀리 벗어날 수 있는지를 확률적으로 제한하는 도구가 Chebyshev 부등식이다.

2. Chebyshev 부등식

평균이 μ\mu이고 분산이 σ2\sigma^2인 확률변수 XX에 대해, 임의의 a>0a>0에서 다음 부등식이 성립한다.

P(∣X−μ∣≥a)≤σ2a2P(|X-\mu|\ge a) \le \frac{\sigma^2}{a^2}

왼쪽은 관측값이 평균으로부터 적어도 aa만큼 떨어질 확률이다. 이 확률은 분산에 비례하고 허용 거리 aa의 제곱에 반비례한다.

Chebyshev 부등식은 분포의 구체적인 모양을 몰라도 평균과 분산만 알면 사용할 수 있다. 대신 특정 분포를 알고 있을 때 얻을 수 있는 경계보다 느슨할 수 있다.

2.1 표준편차의 배수로 표현하기

a=kσa=k\sigma로 두면 다음과 같다.

P(∣X−μ∣≥kσ)≤1k2P(|X-\mu|\ge k\sigma) \le \frac{1}{k^2}

같은 내용을 평균에서 kσk\sigma 이내에 있을 확률로 바꾸면 다음과 같다.

P(∣X−μ∣<kσ)≥1−1k2P(|X-\mu|<k\sigma) \ge 1-\frac{1}{k^2}

예를 들어 평균에서 2σ2\sigma 이상 벗어날 확률은 최대 1/41/4이다.

P(∣X−μ∣≥2σ)≤14P(|X-\mu|\ge2\sigma) \le \frac{1}{4}

평균에서 3σ3\sigma 이상 벗어날 확률은 최대 1/91/9이다.

P(∣X−μ∣≥3σ)≤19P(|X-\mu|\ge3\sigma) \le \frac{1}{9}

이는 실제 확률이 각각 정확히 1/41/4과 1/91/9이라는 뜻이 아니라, 그보다 클 수 없다는 upper bound이다.

2.2 유도

연속 확률변수의 분산을 생각하자.

σ2=∫−∞∞(x−μ)2fX(x) dx\sigma^2 = \int_{-\infty}^{\infty}(x-\mu)^2f_X(x)\,dx

적분 구간을 ∣x−μ∣≥a|x-\mu|\ge a인 영역과 그 나머지 영역으로 나눌 수 있다. 모든 항이 음수가 아니므로 나머지 영역의 적분을 제외하면 다음 부등식을 얻는다.

σ2≥∫∣x−μ∣≥a(x−μ)2fX(x) dx\sigma^2 \ge \int_{|x-\mu|\ge a}(x-\mu)^2f_X(x)\,dx

∣x−μ∣≥a|x-\mu|\ge a인 영역에서는 (x−μ)2≥a2(x-\mu)^2\ge a^2이므로 다음과 같다.

σ2≥a2∫∣x−μ∣≥afX(x) dx\sigma^2 \ge a^2\int_{|x-\mu|\ge a}f_X(x)\,dx

마지막 적분은 해당 영역에 속할 확률이다.

σ2≥a2P(∣X−μ∣≥a)\sigma^2 \ge a^2P(|X-\mu|\ge a)

양변을 a2a^2으로 나누면 Chebyshev 부등식을 얻는다.

P(∣X−μ∣≥a)≤σ2a2P(|X-\mu|\ge a) \le \frac{\sigma^2}{a^2}

이산 확률변수에서도 같은 논리로 합을 나누어 적용할 수 있다.

3. Bernoulli 분포

한 번의 시행에서 결과가 성공과 실패 두 가지뿐인 시행을 Bernoulli trial이라고 한다. 성공을 1, 실패를 0으로 나타내는 확률변수 XX는 Bernoulli 분포를 따른다.

X∼Bernoulli⁡(p)X\sim\operatorname{Bernoulli}(p)

확률질량함수는 다음과 같다.

P(X=x)={p,x=1,1−p,x=0.P(X=x) = \begin{cases} p, & x=1,\\ 1-p, & x=0. \end{cases}

이를 하나의 식으로 쓰면 다음과 같다.

P(X=x)=px(1−p)1−x,x∈{0,1}P(X=x) = p^x(1-p)^{1-x}, \qquad x\in\{0,1\}

3.1 평균과 분산

평균은 다음과 같다.

E[X]=1⋅p+0⋅(1−p)=pE[X] = 1\cdot p+0\cdot(1-p) = p

XX가 0 또는 1이므로 X2=XX^2=X이다. 따라서 다음 관계가 성립한다.

E[X2]=pE[X^2]=p

분산은 다음과 같다.

Var⁡(X)=E[X2]−(E[X])2=p−p2=p(1−p)\operatorname{Var}(X) = E[X^2]-\bigl(E[X]\bigr)^2 = p-p^2 = p(1-p)

4. Binomial 분포

서로 독립이고 성공 확률이 모두 pp인 Bernoulli trial을 nn번 반복하자. 그중 성공한 횟수를 확률변수 XX로 정의하면 XX는 binomial 분포를 따른다.

X∼Binomial⁡(n,p)X\sim\operatorname{Binomial}(n,p)

XX는 0부터 nn까지의 정숫값을 갖는다.

X∈{0,1,2,…,n}X\in\{0,1,2,\ldots,n\}

nn번 중 정확히 xx번 성공할 경우의 수는 (nx)\binom{n}{x}이고, 특정 순서로 xx번 성공하고 n−xn-x번 실패할 확률은 px(1−p)n−xp^x(1-p)^{n-x}이다. 따라서 확률질량함수는 다음과 같다.

P(X=x)=(nx)px(1−p)n−xP(X=x) = \binom{n}{x}p^x(1-p)^{n-x}

4.1 전체 확률의 합

Binomial theorem을 이용하면 전체 확률이 1임을 확인할 수 있다.

∑x=0nP(X=x)=∑x=0n(nx)px(1−p)n−x=(p+1−p)n=1\begin{aligned} \sum_{x=0}^{n}P(X=x) &=\sum_{x=0}^{n}\binom{n}{x}p^x(1-p)^{n-x}\\ &=(p+1-p)^n\\ &=1 \end{aligned}

4.2 평균

기댓값의 정의에서 시작하면 다음과 같다.

E[X]=∑x=0nx(nx)px(1−p)n−xE[X] = \sum_{x=0}^{n}x\binom{n}{x}p^x(1-p)^{n-x}

다음 조합 관계를 사용한다.

x(nx)=n(n−1x−1)x\binom{n}{x} = n\binom{n-1}{x-1}

이를 대입하고 j=x−1j=x-1로 치환하면 나머지 합이 (p+1−p)n−1=1(p+1-p)^{n-1}=1이 된다. 따라서 평균은 다음과 같다.

E[X]=npE[X]=np

또는 XX를 각 시행의 성공 여부를 나타내는 Bernoulli 확률변수들의 합으로 볼 수 있다.

X=X1+X2+⋯+XnX=X_1+X_2+\cdots+X_n

기댓값의 선형성을 사용하면 같은 결과를 바로 얻는다.

E[X]=∑i=1nE[Xi]=npE[X] = \sum_{i=1}^{n}E[X_i] = np

4.3 분산

2차 모멘트를 직접 계산할 때는 X2=X(X−1)+XX^2=X(X-1)+X로 나누는 것이 편리하다.

E[X(X−1)]=n(n−1)p2E[X(X-1)] = n(n-1)p^2

따라서 다음과 같다.

E[X2]=n(n−1)p2+npE[X^2] = n(n-1)p^2+np

분산은 다음과 같이 정리된다.

Var⁡(X)=E[X2]−(E[X])2=n(n−1)p2+np−n2p2=np(1−p)\begin{aligned} \operatorname{Var}(X) &=E[X^2]-\bigl(E[X]\bigr)^2\\ &=n(n-1)p^2+np-n^2p^2\\ &=np(1-p) \end{aligned}

각 Bernoulli trial이 독립이라는 점을 이용해도 같은 결과를 얻는다.

Var⁡(X)=∑i=1nVar⁡(Xi)=np(1−p)\operatorname{Var}(X) = \sum_{i=1}^{n}\operatorname{Var}(X_i) = np(1-p)

5. Geometric 분포의 memoryless 성질

Geometric 분포는 과거의 실패 횟수가 앞으로 성공까지 필요한 시행 횟수의 분포에 영향을 주지 않는 memoryless 성질을 갖는다.

첫 성공까지의 시행 횟수를 XX라고 하자. 이미 nn번 실패했다는 조건은 X>nX>n으로 표현할 수 있다. 그 뒤로 정확히 kk번째 시행에서 성공할 조건부 확률은 다음과 같다.

P(X=n+k∣X>n)P(X=n+k\mid X>n)

조건부 확률의 정의를 적용한다.

P(X=n+k∣X>n)=P(X=n+k)P(X>n)P(X=n+k\mid X>n) = \frac{P(X=n+k)}{P(X>n)}

Geometric 분포에서 각 확률은 다음과 같다.

P(X=n+k)=(1−p)n+k−1pP(X=n+k) = (1-p)^{n+k-1}p P(X>n)=(1−p)nP(X>n) = (1-p)^n

따라서 다음 결과를 얻는다.

P(X=n+k∣X>n)=(1−p)n+k−1p(1−p)n=(1−p)k−1p=P(X=k)\begin{aligned} P(X=n+k\mid X>n) &=\frac{(1-p)^{n+k-1}p}{(1-p)^n}\\ &=(1-p)^{k-1}p\\ &=P(X=k) \end{aligned}

과거에 몇 번 실패했는지를 나타내는 nn이 최종 식에서 사라진다. 같은 성질을 꼬리확률로 표현하면 다음과 같다.

P(X>n+k∣X>n)=P(X>k)P(X>n+k\mid X>n) = P(X>k)

주사위를 던져 처음 6이 나올 때까지 기다리는 상황에서 이미 5번 실패했든 10번 실패했든, 바로 다음 시행에서 6이 나올 확률은 여전히 1/61/6이다. 각 시행이 독립이기 때문에 앞선 실패가 다음 시행의 성공 확률을 바꾸지 않는다.

연속 확률분포 가운데에서는 exponential 분포가 같은 memoryless 성질을 갖는다.

중요 개념 정리

  • Chebyshev 부등식은 분포의 모양을 몰라도 평균에서 멀리 벗어날 확률의 upper bound를 제공한다.
  • 평균에서 kk배의 표준편차 이상 벗어날 확률은 최대 1/k21/k^2이다.
  • Bernoulli 분포는 한 번의 성공·실패 시행을 나타내며 평균은 pp, 분산은 p(1−p)p(1-p)이다.
  • Binomial 분포는 nn번의 독립적인 Bernoulli trial에서 성공한 횟수를 나타낸다.
  • Binomial 분포의 평균은 npnp, 분산은 np(1−p)np(1-p)이다.
  • Geometric 분포에서는 과거의 실패 횟수가 이후 성공까지의 분포에 영향을 주지 않는다.