연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 1강

1. 표본공간과 사건

확률을 다루려면 먼저 어떤 실험을 하고 있으며, 그 실험에서 어떤 결과가 나올 수 있는지를 정해야 한다.

주사위를 던지거나 동전을 던지는 것처럼 결과를 미리 확정할 수 없는 실험을 확률 실험(random experiment)이라고 한다. 한 번의 실험에서 실제로 나온 결과 하나를 표본점 또는 결과(outcome)라고 한다.

1.1 표본공간

표본공간(sample space) $S$는 확률 실험에서 나올 수 있는 모든 결과의 집합이다.

주사위를 한 번 던지는 실험의 표본공간은 다음과 같다.

$$S=\{1,2,3,4,5,6\}$$

확률 문제에서 고려하는 모든 사건은 이 표본공간 안에서 정의된다. 따라서 표본공간은 해당 문제의 전체 집합에 해당하며, 모든 가능한 결과의 확률을 더하면 1이 된다.

$$P(S)=1$$

1.2 사건

사건(event) $A$는 표본공간 $S$의 부분집합이다.

주사위의 눈이 짝수인 사건을 $A$라고 하면 다음과 같다.

$$A=\{2,4,6\}\subseteq S$$

보통 $P(A)$를 사건 $A$가 발생할 확률이라고 말한다. 더 정확히는 실험에서 얻은 결과가 집합 $A$에 속할 확률이다.

$$P(A)=P(\text{실험의 결과가 }A\text{에 속함})$$

사건을 집합으로 보는 관점은 이후의 조건부 확률, 전확률 정리, 독립을 이해하는 기준이 된다.

---

2. 조건부 확률

조건부 확률(conditional probability)은 어떤 사건이 이미 발생했다는 조건 아래에서 다른 사건이 발생할 확률이다.

$P(A)>0$일 때, 사건 $A$가 발생했다는 조건에서 사건 $B$가 발생할 확률은 다음과 같이 정의한다.

$$P(B\mid A) = \frac{P(A\cap B)}{P(A)}$$

분모의 $P(A)$는 가능한 결과의 범위를 사건 $A$로 제한한다. 분자의 $P(A\cap B)$는 제한된 범위 안에서 사건 $B$까지 함께 만족하는 경우이다.

따라서 조건부 확률에서는 원래의 표본공간 $S$ 전체가 아니라 사건 $A$를 새로운 표본공간처럼 보고 확률을 다시 계산한다고 이해할 수 있다.

2.1 날씨 예시

오늘 비가 올 확률을 구한다고 하자. 아무 조건 없이 구한 확률과 어제 비가 왔다는 사실을 알고 난 뒤의 확률은 다를 수 있다.

오늘 비가 오는 사건을 $R_t$, 어제 비가 온 사건을 $R_{t-1}$이라고 하면 두 확률은 다음처럼 구분된다.

$$P(R_t), \qquad P(R_t\mid R_{t-1})$$

어제의 날씨가 오늘의 날씨와 관련이 있다면 조건 $R_{t-1}$은 확률값을 바꾼다. 조건부 확률은 이처럼 이미 알고 있는 정보가 관심 있는 사건의 가능성에 얼마나 영향을 주는지를 표현한다.

2.2 곱셈 법칙

조건부 확률의 정의를 정리하면 두 사건이 함께 발생할 확률을 구하는 곱셈 법칙을 얻는다.

$$P(A\cap B) = P(B\mid A)P(A)$$

조건의 위치를 바꾸어도 같은 교집합을 나타낸다.

$$P(A\cap B) = P(A\mid B)P(B)$$

두 식은 Bayes 정리를 유도할 때 사용된다.

---

3. 전확률 정리

복잡한 사건의 확률은 서로 겹치지 않는 여러 경우로 나누어 계산할 수 있다.

$B_1,B_2,\ldots,B_n$이 표본공간 $S$의 분할(partition)이라고 하자. 이 사건들은 서로 배반이며, 모두 합치면 표본공간 전체가 된다.

$$B_i\cap B_j=\varnothing \quad (i\ne j)$$ $$\bigcup_{i=1}^{n}B_i=S$$

임의의 사건 $A$는 다음과 같이 서로 겹치지 않는 부분들로 나눌 수 있다.

$$A = \bigcup_{i=1}^{n}(A\cap B_i)$$

따라서 사건 $A$의 확률은 각 부분의 확률을 더한 값이다.

$$P(A) = \sum_{i=1}^{n}P(A\cap B_i)$$

곱셈 법칙을 적용하면 전확률 정리(total probability theorem)를 얻는다.

$$P(A) = \sum_{i=1}^{n}P(A\mid B_i)P(B_i)$$

$A$가 여러 원인 $B_i$ 가운데 하나를 거쳐 발생할 수 있다면, 각 원인이 선택될 확률과 그 원인 아래에서 $A$가 발생할 확률을 곱한 뒤 모두 더하는 것이다.

---

4. Bayes 정리

전확률 정리는 원인을 알고 있을 때 결과가 나타날 확률을 구한다. Bayes 정리는 반대로 결과를 관측한 뒤 그 결과가 어느 원인에서 왔을 가능성이 큰지를 계산한다.

곱셈 법칙에 의해 다음 식이 성립한다.

$$P(A\cap B) = P(A\mid B)P(B) = P(B\mid A)P(A)$$

이를 $P(B\mid A)$에 대해 정리하면 Bayes 정리를 얻는다.

$$P(B\mid A) = \frac{P(A\mid B)P(B)}{P(A)}$$

$B_1,\ldots,B_n$이 표본공간의 분할일 때는 분모 $P(A)$를 전확률 정리로 계산할 수 있다.

$$P(B_i\mid A) = \frac{P(A\mid B_i)P(B_i)} {\displaystyle\sum_{j=1}^{n}P(A\mid B_j)P(B_j)}$$

각 항의 역할은 다음과 같다.

• $P(B_i)$: 결과를 보기 전에 알고 있던 사전 확률(prior probability)
• $P(A\mid B_i)$: 원인 $B_i$일 때 결과 $A$가 관측될 확률
• $P(A)$: 결과 $A$가 관측될 전체 확률
• $P(B_i\mid A)$: 결과를 관측한 뒤 갱신된 사후 확률(posterior probability)

핵심은 관측 결과 $A$만 보고 원인 $B_i$를 단정하지 않고, 가능한 원인별 확률을 비교한다는 점이다.

---

5. 이진 통신 채널에서의 확률

통신 시스템에서는 송신한 symbol과 수신한 symbol이 잡음 때문에 달라질 수 있다. 이 예시는 조건부 확률, 전확률 정리, Bayes 정리가 실제 문제에서 어떻게 연결되는지를 보여준다.

송신 symbol을 $X\in\{x_1,x_2\}$, 수신 symbol을 $Y\in\{y_1,y_2\}$라고 하자. $x_1,y_1$을 bit 0에, $x_2,y_2$를 bit 1에 대응시켜 생각할 수 있다.

송신한 symbol이 $x_i$일 때 $y_j$를 수신할 확률을 다음과 같이 정의한다.

$$p_{ij} = P(Y=y_j\mid X=x_i)$$

5.1 전이 확률

$x_1$을 보낸 뒤 수신할 수 있는 결과가 $y_1$과 $y_2$뿐이라면 두 조건부 확률의 합은 1이다.

$$p_{11}+p_{12}=1$$

같은 이유로 $x_2$를 보낸 경우에도 다음 식이 성립한다.

$$p_{21}+p_{22}=1$$

$p_{11}$과 $p_{22}$는 올바르게 전송되는 확률이고, $p_{12}$와 $p_{21}$은 오류가 발생하는 확률이다.

두 방향의 오류 확률이 같다면 binary symmetric channel로 볼 수 있다. 공통 오류 확률을 $\varepsilon$이라고 하면 다음과 같다.

$$p_{11}=p_{22}=1-\varepsilon$$ $$p_{12}=p_{21}=\varepsilon$$

5.2 전체 오류 확률

오류 사건 $E$는 다음 두 경우로 나뉜다.

1. $x_1$을 보냈는데 $y_2$를 수신한 경우
2. $x_2$를 보냈는데 $y_1$을 수신한 경우

두 경우는 동시에 일어날 수 없는 배반 사건이므로 전확률 정리를 적용할 수 있다.

$$P(E) = P(X=x_1)P(Y=y_2\mid X=x_1) + P(X=x_2)P(Y=y_1\mid X=x_2)$$

기호를 간단히 쓰면 다음과 같다.

$$P(E) = P(X=x_1)p_{12} + P(X=x_2)p_{21}$$

binary symmetric channel에서는 $p_{12}=p_{21}=\varepsilon$이므로 입력 symbol의 분포와 관계없이 전체 오류 확률이 $\varepsilon$이 된다.

$$P(E)=\varepsilon$$

5.3 수신 결과로 송신 symbol 추정하기

수신기에서는 관측한 값이 $y_1$이라고 해서 송신 symbol이 반드시 $x_1$이었다고 단정할 수 없다. $x_2$를 보냈지만 채널 오류로 $y_1$이 도착했을 가능성도 있기 때문이다.

관측 $Y=y_1$이 주어졌을 때 실제 송신 symbol이 $x_1$이었을 확률은 Bayes 정리로 계산한다.

$$P(X=x_1\mid Y=y_1) = \frac {P(Y=y_1\mid X=x_1)P(X=x_1)} {P(Y=y_1)}$$

분모는 전확률 정리로 구한다.

$$P(Y=y_1) = P(Y=y_1\mid X=x_1)P(X=x_1) + P(Y=y_1\mid X=x_2)P(X=x_2)$$

수신기는 가능한 송신 symbol들의 사후 확률을 비교해 가장 가능성이 높은 값을 선택할 수 있다. 실제 통신 신호는 잡음으로 인해 이상적인 0과 1이 아닌 중간 값으로 관측될 수 있으므로, 이러한 확률적 판단과 함께 parity bit나 check code 같은 오류 검출 방법도 사용한다.

---

6. 독립 사건

두 사건 $A$와 $B$가 서로 독립(independent)이라는 것은 한 사건의 발생 여부가 다른 사건의 확률에 영향을 주지 않는다는 뜻이다.

$P(A)>0$이고 $P(B)>0$일 때 다음 조건으로 표현할 수 있다.

$$P(B\mid A)=P(B)$$ $$P(A\mid B)=P(A)$$

조건부 확률의 정의를 적용하면 독립 여부를 확인할 때 더 자주 사용하는 형태를 얻는다.

$$P(A\cap B)=P(A)P(B)$$

즉 두 사건이 동시에 발생할 확률이 각 사건의 확률을 곱한 값과 같으면 두 사건은 독립이다.

6.1 반복 시행과 복원

주사위를 연속해서 던질 때 첫 번째 결과는 두 번째 결과에 영향을 주지 않는다. 매번 같은 조건에서 시행하므로 각 시행은 독립이다.

주머니에서 공을 꺼내는 경우에는 복원 여부가 중요하다.

• 꺼낸 공을 다시 넣으면 다음 시행에서도 공의 구성과 확률이 그대로이므로 각 추출은 독립이다.
• 꺼낸 공을 다시 넣지 않으면 공의 구성이 달라져 다음 확률도 바뀌므로 각 추출은 일반적으로 독립이 아니다.

단순히 실험을 반복한다는 사실만으로 독립이 되는 것은 아니다. 앞선 결과가 다음 시행의 조건을 바꾸지 않는지를 확인해야 한다.

6.2 독립 가정이 모델을 단순하게 만드는 이유

현실의 한 결과에는 매우 많은 요인이 영향을 줄 수 있다. 오늘의 날씨를 예측할 때 현재의 온도, 습도, 풍향뿐 아니라 이전 여러 날의 날씨까지 모두 조건으로 넣을 수도 있다.

그러나 관련성이 매우 작은 요인까지 전부 포함하면 모델이 지나치게 복잡해진다. 충분히 영향이 작다고 판단되는 요인을 관심 사건과 독립이라고 가정하면 조건에서 제외할 수 있다. 또한 여러 독립 사건의 결합 확률을 각 확률의 곱으로 계산할 수 있어 문제도 단순해진다.

독립은 현실의 관계가 완전히 없다는 선언이라기보다, 주어진 모델과 목적 안에서 영향이 없거나 무시할 수 있다고 보는 가정으로 사용되기도 한다.

6.3 여사건과 독립

$A$와 $B$가 독립이면 $A$와 $B^c$도 독립이다.

$$\begin{aligned} P(A\cap B^c) &=P(A)-P(A\cap B) \\ &=P(A)-P(A)P(B) \\ &=P(A)(1-P(B)) \\ &=P(A)P(B^c) \end{aligned}$$

같은 방식으로 다음 사건 쌍도 모두 독립임을 보일 수 있다.

$$A^c\text{와 }B, \qquad A^c\text{와 }B^c$$

6.4 독립과 배반은 다르다

독립 사건과 배반 사건(mutually exclusive event)은 서로 다른 개념이다.

• 독립: 한 사건의 발생이 다른 사건의 확률을 바꾸지 않는다.
• 배반: 두 사건이 동시에 발생할 수 없어 교집합이 공집합이다.

$A$와 $B$가 배반이면 다음 식이 성립한다.

$$P(A\cap B)=0$$

두 사건의 확률이 모두 양수라면 $P(A)P(B)>0$이므로 독립 조건을 만족하지 않는다. 오히려 $A$가 발생했다는 사실을 알면 $B$는 발생할 수 없으므로 두 사건은 강하게 의존한다.

---

7. 결합 시행과 Cartesian product

두 가지 이상의 실험을 함께 수행하면 각 실험의 결과를 순서쌍으로 묶어 새로운 표본공간을 만든다.

첫 번째 실험의 표본공간이 $S_1$, 두 번째 실험의 표본공간이 $S_2$라면 결합 시행의 표본공간은 Cartesian product로 표현한다.

$$S=S_1\times S_2$$

이 표본공간의 각 원소는 다음과 같은 순서쌍이다.

$$(x_i,y_j), \qquad x_i\in S_1, \quad y_j\in S_2$$

7.1 동전을 세 번 던지는 경우

동전을 한 번 던지는 실험의 표본공간은 다음과 같다.

$$S_1=\{H,T\}$$

같은 실험을 세 번 수행한 결합 표본공간은 다음과 같다.

$$S = S_1\times S_1\times S_1$$ $$S = \{HHH,HHT,HTH,HTT,THH,THT,TTH,TTT\}$$

각 시행에서 가능한 결과가 2개이고 세 번 시행하므로 전체 결과는 $2^3=8$개이다.

Cartesian product는 가능한 결합 결과의 구조를 정의한다. 각 시행이 독립이라는 조건까지 주어지면 특정 결합 결과의 확률도 각 시행 확률의 곱으로 계산할 수 있다.

---

중요 개념 정리

1. 표본공간은 확률 실험에서 가능한 모든 결과의 집합이고, 사건은 그 부분집합이다.
2. 조건부 확률은 사건 $A$를 새로운 표본공간처럼 제한한 뒤 사건 $B$의 확률을 계산한다.
3. 전확률 정리는 사건을 서로 배반인 여러 경로로 나누어 전체 확률을 구한다.
4. Bayes 정리는 관측 결과로부터 가능한 원인의 확률을 갱신한다.
5. 이진 통신 채널에서는 전이 확률로 오류 확률을 계산하고, 수신 결과로 송신 symbol을 추정할 때 Bayes 정리를 사용할 수 있다.
6. 독립 사건은 교집합의 확률이 각 사건 확률의 곱과 같으며, 배반 사건과는 의미가 다르다.
7. 여러 실험을 결합한 표본공간은 각 표본공간의 Cartesian product로 구성한다.