연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 3강

1. 사건에서 확률변수로

지금까지는 표본공간의 부분집합인 사건을 중심으로 확률을 다뤘다. 이제는 실험에서 나온 각 결과를 실수에 대응시켜 확률을 함수처럼 다룬다.

표본공간을 SS, 하나의 결과를 ω∈S\omega\in S라고 하자. 확률변수(random variable) XX는 각 결과 ω\omega를 하나의 실수에 대응시키는 함수이다.

X:S→RX:S\rightarrow\mathbb{R}

특정 결과 ω\omega가 나오면 확률변수는 다음과 같은 값을 갖는다.

X(ω)=xX(\omega)=x

실험 결과는 반드시 숫자일 필요가 없다. 동전의 앞면과 뒷면, 날씨의 맑음과 흐림처럼 숫자가 아닌 결과도 목적에 맞는 실수로 매핑하면 확률변수로 다룰 수 있다.

확률변수라는 이름 때문에 함수 자체가 무작위로 바뀐다고 생각하기 쉽지만, 매핑 규칙 XX는 고정되어 있다. 어떤 ω\omega가 나올지 무작위이므로 그에 대응하는 값 X(ω)X(\omega)도 무작위로 결정되는 것이다.

1.1 동전을 한 번 던지는 예시

동전을 한 번 던지는 실험의 표본공간은 다음과 같다.

S={H,T}S=\{H,T\}

앞면을 1, 뒷면을 0에 대응시키는 확률변수 XX를 정의할 수 있다.

X(H)=1,X(T)=0X(H)=1, \qquad X(T)=0

공정한 동전이라면 다음과 같다.

P(X=1)=P({H})=12P(X=1) = P(\{H\}) = \frac{1}{2} P(X=0)=P({T})=12P(X=0) = P(\{T\}) = \frac{1}{2}

앞면을 0, 뒷면을 1로 정해도 되고 다른 실수값을 부여해도 된다. 다만 어떤 매핑을 선택했는지에 따라 확률변수가 갖는 값과 분포의 표현이 달라진다.


2. 동전을 두 번 던지는 예시

동전을 두 번 던졌을 때 앞면이 나온 횟수를 확률변수 XX로 정의하자.

S={HH,HT,TH,TT}S=\{HH,HT,TH,TT\}

각 결과는 다음과 같이 매핑된다.

X(TT)=0X(TT)=0 X(HT)=X(TH)=1X(HT)=X(TH)=1 X(HH)=2X(HH)=2

공정한 동전이라면 각 값의 확률은 다음과 같다.

P(X=0)=14P(X=0)=\frac{1}{4} P(X=1)=24=12P(X=1)=\frac{2}{4}=\frac{1}{2} P(X=2)=14P(X=2)=\frac{1}{4}

같은 표본공간에서도 확률변수를 다르게 정의할 수 있다. 뒷면의 횟수, 앞면 횟수의 제곱, 두 결과가 같은지를 나타내는 0과 1 등 목적에 따라 여러 함수가 가능하다.


3. 확률변수의 값에 대응하는 사건

확률변수의 값은 실수이지만, 확률은 여전히 표본공간의 사건에 부여된다.

X=xX=x가 되는 모든 결과를 모은 사건을 다음과 같이 쓸 수 있다.

Ax={ω∈S:X(ω)=x}A_x = \{\omega\in S:X(\omega)=x\}

AxA_x는 함수 XX에 의해 값 xx로 매핑되는 결과들의 역상(preimage)이다. 따라서 다음 두 확률은 같은 의미이다.

P(X=x)=P(Ax)P(X=x) = P(A_x)

동전을 두 번 던지는 예시에서는 다음과 같다.

A0={TT}A_0=\{TT\} A1={HT,TH}A_1=\{HT,TH\} A2={HH}A_2=\{HH\}

범위로 정의한 확률도 같은 방식으로 사건으로 되돌릴 수 있다.

{a<X≤b}={ω∈S:a<X(ω)≤b}\{a<X\le b\} = \{\omega\in S:a<X(\omega)\le b\}

확률변수를 사용하면 표본공간의 구체적인 결과를 매번 나열하지 않고도 숫자의 범위와 함수로 확률 문제를 표현할 수 있다. 다만 그 뒤에는 항상 해당 조건을 만족하는 결과들의 사건이 있다는 점을 기억해야 한다.

3.1 대문자와 소문자의 구분

관례적으로 대문자 X,Y,ZX,Y,Z는 확률변수 자체를 나타내고, 소문자 x,y,zx,y,z는 그 확률변수가 가질 수 있는 특정한 값을 나타낸다.

X=xX=x

위 식은 확률변수 XX가 특정 값 xx를 갖는 사건을 뜻한다.


4. 확률분포

확률분포(distribution)는 확률변수가 어떤 값을 얼마나 자주 갖는지를 확률로 나타낸 것이다. 확률변수의 가능한 값과 각 값 또는 구간에 부여된 확률을 알면 그 확률변수의 불확실성을 설명할 수 있다.

분포를 표현하는 가장 일반적인 방법이 누적분포함수이다.

5. 누적분포함수

확률변수 XX의 누적분포함수(cumulative distribution function, CDF)는 다음과 같이 정의한다.

FX(x)=P(X≤x)F_X(x) = P(X\le x)

FX(x)F_X(x)는 xx 이하에 쌓인 모든 확률을 누적한 값이다. xx를 오른쪽으로 이동시키면 포함되는 결과가 늘어나므로 CDF는 감소할 수 없다.

5.1 CDF의 기본 성질

첫째, CDF의 값은 확률이므로 항상 0과 1 사이에 있다.

0≤FX(x)≤10\le F_X(x)\le1

둘째, x1<x2x_1<x_2이면 다음 관계가 성립한다.

FX(x1)≤FX(x2)F_X(x_1)\le F_X(x_2)

x1x_1과 x2x_2 사이에 확률이 없다면 두 값은 같을 수 있다. 따라서 CDF는 엄격하게 증가하는 함수가 아니라 단조 비감소 함수이다.

셋째, 양 끝에서 다음 극한을 갖는다.

lim⁡x→−∞FX(x)=0\lim_{x\to-\infty}F_X(x)=0 lim⁡x→∞FX(x)=1\lim_{x\to\infty}F_X(x)=1

넷째, CDF는 오른쪽 연속이다.

FX(x)=lim⁡h↓0FX(x+h)F_X(x) = \lim_{h\downarrow0}F_X(x+h)

이산 확률변수의 CDF에는 점프가 있을 수 있지만, 점프가 일어나는 지점의 함수값은 그 지점의 확률까지 포함한 오른쪽 값이다. 이는 CDF가 P(X<x)P(X<x)가 아니라 P(X≤x)P(X\le x)로 정의되기 때문이다.


6. CDF로 확률 구하기

CDF를 알면 다양한 구간의 확률을 계산할 수 있다.

6.1 반열린 구간

다음 확률은 bb 이하의 누적 확률에서 aa 이하의 누적 확률을 빼면 된다.

P(a<X≤b)=FX(b)−FX(a)P(a<X\le b) = F_X(b)-F_X(a)

6.2 여사건

aa보다 큰 확률은 aa 이하일 확률의 여사건이다.

P(X>a)=1−FX(a)P(X>a) = 1-F_X(a)

6.3 등호 위치와 왼쪽 극한

이산 확률변수에서는 특정 값 하나가 양의 확률을 가질 수 있으므로 등호의 위치가 중요하다.

aa의 왼쪽 극한을 다음과 같이 정의한다.

FX(a−)=lim⁡x↑aFX(x)=P(X<a)F_X(a^-) = \lim_{x\uparrow a}F_X(x) = P(X<a)

따라서 한 점에 모인 확률은 CDF의 점프 크기와 같다.

P(X=a)=FX(a)−FX(a−)P(X=a) = F_X(a)-F_X(a^-)

이를 이용하면 등호의 위치가 다른 확률도 구분할 수 있다.

P(X≥a)=1−FX(a−)P(X\ge a) = 1-F_X(a^-) P(a≤X≤b)=FX(b)−FX(a−)P(a\le X\le b) = F_X(b)-F_X(a^-)

CDF가 aa에서 연속이면 FX(a)=FX(a−)F_X(a)=F_X(a^-)이므로 다음과 같다.

P(X=a)=0P(X=a)=0

반대로 CDF가 aa에서 점프한다면 그 점프만큼 X=aX=a일 확률이 존재한다.


7. 이산 확률변수

이산 확률변수(discrete random variable)는 가능한 값을 하나씩 셀 수 있는 확률변수이다. 가능한 값이 유한하거나 자연수처럼 가산무한인 경우가 이에 해당한다.

각 값 사이에 다른 실수가 존재하더라도, 확률변수가 실제로 가질 수 있는 값들이 서로 떨어져 있다는 뜻에서 이산이라고 한다.

8. 확률질량함수

이산 확률변수 XX의 확률질량함수(probability mass function, PMF)는 각 값이 나타날 확률을 직접 나타낸다.

pX(x)=P(X=x)p_X(x) = P(X=x)

PMF는 다음 조건을 만족한다.

pX(x)≥0p_X(x)\ge0 ∑xpX(x)=1\sum_x p_X(x)=1

이산 확률변수의 CDF는 xx 이하에 있는 모든 확률질량을 더하여 구한다.

FX(x)=∑xi≤xpX(xi)F_X(x) = \sum_{x_i\le x}p_X(x_i)

따라서 PMF를 알면 CDF를 구할 수 있고, CDF의 각 점프 크기를 구하면 PMF를 복원할 수 있다.

pX(xi)=FX(xi)−FX(xi−)p_X(x_i) = F_X(x_i)-F_X(x_i^-)

9. 동전 두 번 던지기의 PMF와 CDF

앞면의 횟수를 XX라고 했을 때 PMF는 다음과 같다.

pX(x)={14,x=012,x=114,x=20,otherwisep_X(x) = \begin{cases} \dfrac{1}{4}, & x=0 \\ \dfrac{1}{2}, & x=1 \\ \dfrac{1}{4}, & x=2 \\ 0, & \text{otherwise} \end{cases}

이 PMF를 차례로 누적하면 CDF를 얻는다.

FX(x)={0,x<014,0≤x<134,1≤x<21,x≥2F_X(x) = \begin{cases} 0, & x<0 \\ \dfrac{1}{4}, & 0\le x<1 \\ \dfrac{3}{4}, & 1\le x<2 \\ 1, & x\ge2 \end{cases}

이산 확률변수의 CDF는 확률질량이 있는 지점에서 위로 올라가고, 그 사이에서는 같은 값을 유지하는 계단 함수(step function)가 된다.

  • x=0x=0에서 1/41/4만큼 증가한다.
  • x=1x=1에서 1/21/2만큼 증가한다.
  • x=2x=2에서 1/41/4만큼 증가하여 최종적으로 1이 된다.

각 계단의 높이 변화가 바로 해당 값의 PMF이다.


10. 이산 확률질량의 impulse 표현

신호 처리에서는 이산적인 확률질량을 실수축 위의 impulse들을 이용해 한 식으로 나타내기도 한다.

가능한 값이 xix_i이고 각 확률이 pip_i라면 다음과 같이 쓸 수 있다.

fX(x)=∑ipiδ(x−xi)f_X(x) = \sum_i p_i\delta(x-x_i)

여기서 δ(x−xi)\delta(x-x_i)는 xix_i에 놓인 Dirac delta이며, 보통 함수처럼 보이지만 한 점에서의 높이가 아니라 전체 면적이 1이 되도록 정의되는 generalized function이다. 따라서 그래프의 막대 높이로 이해하는 PMF와 impulse 표현을 엄밀하게는 구분해야 한다.

동전 두 번 던지기 예시를 impulse로 나타내면 다음과 같다.

fX(x)=14δ(x)+12δ(x−1)+14δ(x−2)f_X(x) = \frac{1}{4}\delta(x) + \frac{1}{2}\delta(x-1) + \frac{1}{4}\delta(x-2)

확률 계산만 할 때는 PMF의 구간별 정의가 더 직접적이고, impulse 표현은 이후 신호와 시스템에서 이산 질량을 연속축 위에 나타낼 때 유용하다.


11. 연속 확률변수의 예고

연속 확률변수에서는 한 점이 갖는 확률이 0이므로 이산 확률변수처럼 각 값의 PMF를 나열할 수 없다. 대신 확률밀도함수(probability density function, PDF)를 정의하고 구간의 넓이로 확률을 계산한다.

FX(x)=∫−∞xfX(t) dtF_X(x) = \int_{-\infty}^{x}f_X(t)\,dt P(a<X≤b)=∫abfX(t) dtP(a<X\le b) = \int_a^b f_X(t)\,dt

연속 확률변수에서는 한 점의 넓이가 0이므로 다음과 같다.

P(X=x)=0P(X=x)=0

이 때문에 연속인 경우에는 구간 끝에 등호를 붙이는 위치가 확률값을 바꾸지 않는다. 이산인 경우에는 한 점에 확률질량이 존재할 수 있으므로 등호를 반드시 구분해야 한다.


중요 개념 정리

  1. 확률변수는 표본공간의 각 결과를 실수에 대응시키는 함수이다.
  2. P(X=x)P(X=x)는 값 xx로 매핑되는 모든 결과의 사건이 발생할 확률이다.
  3. 대문자 XX는 확률변수, 소문자 xx는 확률변수가 가질 수 있는 특정 값을 나타낸다.
  4. CDF는 FX(x)=P(X≤x)F_X(x)=P(X\le x)이며 확률을 왼쪽부터 누적한 함수이다.
  5. CDF는 0과 1 사이의 단조 비감소 함수이고, 오른쪽 연속이며 양 끝에서 0과 1로 수렴한다.
  6. 한 점의 확률은 CDF의 점프 크기인 FX(x)−FX(x−)F_X(x)-F_X(x^-)와 같다.
  7. 이산 확률변수의 PMF는 각 값의 확률을 나타내며, CDF는 PMF를 누적한 계단 함수이다.
  8. 연속 확률변수는 한 점의 확률 대신 PDF의 구간 넓이로 확률을 계산한다.