연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 2강

1. 전확률 정리의 분할 조건

전확률 정리에서 가장 먼저 확인해야 할 것은 무엇을 분할하는가이다.

$B_1,B_2,\ldots,B_n$은 관심 사건 $A$가 아니라 표본공간 $S$ 전체의 분할(partition)이어야 한다. 즉 서로 겹치지 않으면서 표본공간을 모두 덮어야 한다.

$$B_i\cap B_j=\varnothing \quad (i\ne j)$$ $$\bigcup_{i=1}^{n}B_i=S$$

이때 관심 사건 $A$는 다음과 같이 서로 배반인 부분들로 나뉜다.

$$A = \bigcup_{i=1}^{n}(A\cap B_i)$$

따라서 전확률 정리는 다음과 같다.

$$P(A) = \sum_{i=1}^{n}P(A\cap B_i) = \sum_{i=1}^{n}P(A\mid B_i)P(B_i)$$

핵심은 $B_i$가 $A$의 부분집합일 필요는 없다는 점이다. 표본공간을 나눈 각 영역과 $A$의 교집합을 더하여 $A$ 전체를 복원한다.

---

2. 경우의 수

조합론(combinatorics)은 여러 대상을 선택하거나 배열할 때 가능한 경우의 수를 세는 방법을 다룬다. 확률은 가능한 결과 가운데 관심 있는 결과가 얼마나 되는지를 비교하므로, 순열과 조합은 확률 계산의 기초가 된다.

3. 순열

순열(permutation)은 서로 다른 대상을 순서를 고려하여 나열하는 방법이다.

3.1 $n$개를 모두 나열하는 경우

서로 다른 $n$개를 일렬로 나열한다고 하자. 첫 번째 자리에는 $n$개, 두 번째 자리에는 남은 $n-1$개가 올 수 있다. 이 과정을 마지막 자리까지 이어가면 다음과 같다.

$$n! = n(n-1)(n-2)\cdots2\cdot1$$

아무것도 나열하지 않는 경우도 한 가지 방법으로 보기 때문에 다음과 같이 정의한다.

$$0!=1$$

3.2 $n$개 중 $r$개를 나열하는 경우

$n$개 가운데 $r$개를 뽑아 순서대로 나열하는 경우의 수는 다음과 같다.

$${}_nP_r = n(n-1)\cdots(n-r+1)$$

팩토리얼로 쓰면 다음과 같다.

$${}_nP_r = \frac{n!}{(n-r)!}$$

3.3 같은 대상이 포함된 순열

전체 $n$개 가운데 같은 종류의 대상이 각각 $n_1,n_2,\ldots,n_k$개씩 있다고 하자.

$$n_1+n_2+\cdots+n_k=n$$

모두 다른 대상으로 보면 $n!$가지이지만, 같은 종류끼리 자리를 바꾼 결과는 구분되지 않는다. 따라서 중복되는 배열의 수를 나눈다.

$$\frac{n!}{n_1!n_2!\cdots n_k!}$$

예를 들어 빨간 공 5개, 흰 공 3개, 검은 공 2개를 일렬로 배열하는 방법은 다음과 같다.

$$\frac{10!}{5!3!2!}$$

3.4 원순열

서로 다른 $n$개를 원형으로 배열할 때는 전체를 회전한 결과를 같은 배열로 본다. 일렬로 배열한 $n!$가지 가운데 회전으로 같아지는 $n$가지를 하나로 묶으면 다음과 같다.

$$\frac{n!}{n} = (n-1)!$$

이는 원의 모든 자리가 회전에 대해 대칭인 경우의 공식이다. 직사각형 탁자처럼 회전 대칭의 수가 다르거나 뒤집은 배열까지 같게 보는 경우에는, 문제에서 같은 것으로 취급하는 대칭의 수를 별도로 확인해야 한다.

---

4. 조합

조합(combination)은 $n$개의 서로 다른 대상에서 순서를 고려하지 않고 $r$개를 선택하는 방법이다.

먼저 $r$개를 순서 있게 뽑으면 ${}_nP_r$가지이다. 그러나 선택된 $r$개를 배열하는 $r!$가지가 모두 같은 조합이므로 이를 나누어야 한다.

$$\binom{n}{r} = {}_nC_r = \frac{{}_nP_r}{r!} = \frac{n!}{r!(n-r)!}$$

선택된 $r$개와 선택되지 않은 $n-r$개를 바꾸어 생각해도 경우의 수는 같다.

$$\binom{n}{r} = \binom{n}{n-r}$$

4.1 두 집단에서 $r$개 뽑기

크기가 각각 $n$, $m$인 두 집단에서 모두 합쳐 $r$개를 뽑는다고 하자. 전체 $n+m$명에서 바로 뽑으면 경우의 수는 다음과 같다.

$$\binom{n+m}{r}$$

첫 번째 집단에서 $k$명, 두 번째 집단에서 $r-k$명을 뽑는 경우로 나누어도 같은 결과를 얻는다.

$$\binom{n+m}{r} = \sum_{k=0}^{r} \binom{n}{k} \binom{m}{r-k}$$

위 식에서는 선택할 수 없는 개수에 대한 조합을 0으로 본다. 각 $k$는 서로 겹치지 않는 경우이고, 가능한 모든 $k$를 합하면 전체 선택을 빠짐없이 센다. 이 관계를 Vandermonde 항등식이라고 한다.

---

5. 이항정리

이항정리(binomial theorem)는 두 항의 합을 거듭제곱했을 때 각 항의 계수를 조합으로 나타낸다.

$$(a+b)^n = \sum_{k=0}^{n} \binom{n}{k}a^{n-k}b^k$$

$b^k$가 나타나는 항을 만들려면 $n$개의 괄호 가운데 $k$개에서 $b$를 선택해야 한다. 그 선택 방법이 $\binom{n}{k}$이므로 이 값이 계수가 된다.

5.1 조합의 합

$a=b=1$을 대입하면 모든 조합의 합을 얻는다.

$$\sum_{k=0}^{n}\binom{n}{k} = 2^n$$

이는 $n$개의 원소로 만들 수 있는 모든 부분집합의 수가 $2^n$이라는 사실과도 같다.

$a=1$, $b=-1$을 대입하면 부호가 번갈아 나타나는 합을 얻는다.

$$\sum_{k=0}^{n}(-1)^k\binom{n}{k} = 0 \qquad (n\ge1)$$

따라서 짝수 번째 조합의 합과 홀수 번째 조합의 합은 각각 전체의 절반이다.

$$\sum_{\substack{k=0\\k\text{ even}}}^{n}\binom{n}{k} = \sum_{\substack{k=0\\k\text{ odd}}}^{n}\binom{n}{k} = 2^{n-1}$$

5.2 미분을 이용한 합 계산

다음 이항정리에서 시작한다.

$$(1+x)^n = \sum_{k=0}^{n}\binom{n}{k}x^k$$

양변을 $x$에 대해 미분하면 다음과 같다.

$$n(1+x)^{n-1} = \sum_{k=1}^{n}k\binom{n}{k}x^{k-1}$$

$x=1$을 대입하면 $k$가 곱해진 조합의 합을 구할 수 있다.

$$\sum_{k=0}^{n}k\binom{n}{k} = n2^{n-1}$$

한 번 더 미분하면 $k(k-1)$이 곱해진 합을 얻는다.

$$\sum_{k=0}^{n}k(k-1)\binom{n}{k} = n(n-1)2^{n-2}$$

$k^2=k(k-1)+k$를 이용하면 다음 관계도 얻을 수 있다.

$$\sum_{k=0}^{n}k^2\binom{n}{k} = n(n+1)2^{n-2}$$

이런 합은 이후 이항분포의 평균과 분산을 유도할 때 사용된다.

5.3 이항분포와의 연결

성공 확률이 $p$인 독립 시행을 $n$번 반복할 때 성공 횟수를 $K$라고 하자. 정확히 $k$번 성공할 확률은 다음과 같다.

$$P(K=k) = \binom{n}{k}p^k(1-p)^{n-k}$$

이항정리를 이용하면 모든 $k$에 대한 확률의 합이 1임을 확인할 수 있다. 또한 위의 미분 관계를 이용하면 평균과 분산을 유도할 수 있다.

$$E[K]=np$$ $$\operatorname{Var}(K)=np(1-p)$$

---

6. 거듭제곱급수와 미분

복잡한 급수도 이미 알고 있는 함수의 급수를 미분하여 계산할 수 있다.

$|x|<1$에서 무한등비급수는 다음과 같다.

$$G(x) = \sum_{k=0}^{\infty}x^k = \frac{1}{1-x}$$

양변을 미분하면 다음 급수를 얻는다.

$$G'(x) = \sum_{k=1}^{\infty}kx^{k-1} = \frac{1}{(1-x)^2}$$

양변에 $x$를 곱하면 다음과 같다.

$$\sum_{k=1}^{\infty}kx^k = \frac{x}{(1-x)^2}$$

한 번 더 미분하면 $k(k-1)$ 또는 $k^2$이 포함된 급수도 계산할 수 있다. 이 방법은 이후 기하분포의 평균과 분산을 구할 때 다시 사용된다.

---

7. Stirling 근사

$n!$은 $n$이 커질수록 매우 빠르게 증가한다. 큰 팩토리얼을 직접 계산하기 어렵거나 식의 크기만 파악하고 싶을 때 Stirling 공식을 사용한다.

$$n! \approx \sqrt{2\pi n} \left(\frac{n}{e}\right)^n$$

$n$이 커질수록 실제 값에 대한 상대오차가 작아진다. 여기서 중요한 것은 절대적인 차이가 아니라 실제 $n!$에 비해 오차가 차지하는 비율이다.

Stirling 근사는 큰 조합의 근사, 확률분포의 근사, 로그 팩토리얼 계산 등에 사용된다. 실제 계산에서는 overflow를 줄이기 위해 양변에 로그를 취한 형태도 자주 쓴다.

$$\log(n!) \approx \frac{1}{2}\log(2\pi n) + n\log n - n$$

---

8. 시스템 신뢰도

신뢰도(reliability)는 시스템이 정해진 시간까지 고장 나지 않고 정상적으로 동작할 확률이다.

시스템의 고장 시각을 확률변수 $T_f$라고 하면 시간 $t$에서의 신뢰도는 다음과 같이 정의할 수 있다.

$$R(t) = P(T_f>t)$$

$R(1)=0.99$라는 말은 시스템이 작동을 시작한 뒤 1시간 동안 정상 상태를 유지할 확률이 99%라는 뜻이다. 정확히 1시간이 되는 순간 고장 날 확률이 1%라는 뜻은 아니다.

여러 module로 구성된 시스템의 신뢰도를 계산할 때는 각 module의 고장이 서로 독립이라고 가정한다. 이 가정이 성립하지 않으면 단순히 확률을 곱할 수 없다.

8.1 직렬 시스템

직렬 시스템(series system)은 모든 module이 정상이어야 전체 시스템이 동작한다. 시간 $t$에서 module $i$가 정상일 확률을 $R_i(t)$라고 하면 다음과 같다.

$$R_{\text{series}}(t) = \prod_{i=1}^{n}R_i(t)$$

각 module의 신뢰도가 0.8이고 세 module이 직렬로 연결되어 있다면 전체 신뢰도는 다음과 같다.

$$R_{\text{series}} = 0.8^3 = 0.512$$

module 수가 늘어날수록 하나라도 고장 날 가능성이 커지므로 전체 신뢰도는 낮아진다.

8.2 병렬 시스템

병렬 시스템(parallel system)은 적어도 하나의 module이 정상이면 전체 시스템이 동작한다. 먼저 모든 module이 고장 날 확률을 구한 뒤 여사건을 취한다.

$$R_{\text{parallel}}(t) = 1- \prod_{i=1}^{n}\left(1-R_i(t)\right)$$

각 module의 신뢰도가 0.8이고 세 module이 병렬로 연결되어 있다면 다음과 같다.

$$R_{\text{parallel}} = 1-(1-0.8)^3 = 0.992$$

병렬 구조는 일부 module이 고장 나더라도 다른 경로가 동작할 수 있어 신뢰도를 높인다.

8.3 혼합 구조와 전확률 정리

직렬과 병렬이 섞인 구조는 특정 module의 동작 여부를 조건으로 나누면 계산이 쉬워질 수 있다.

강의의 5-module bridge 구조에서 $C_3$의 동작 여부로 경우를 나누어 보자. 전체 시스템이 동작하는 사건을 $W$라고 하면 다음과 같다.

$$R(t) = P(W\mid C_3)R_3 + P(W\mid C_3^c)(1-R_3)$$

여기서는 식을 간단히 쓰기 위해 $R_i=R_i(t)$로 둔다.

$C_3$가 동작하면 앞쪽의 $C_1,C_2$가 병렬이고 뒤쪽의 $C_4,C_5$가 병렬인 두 묶음의 직렬 구조로 볼 수 있다.

$$P(W\mid C_3) = \left[1-(1-R_1)(1-R_2)\right] \left[1-(1-R_4)(1-R_5)\right]$$

$C_3$가 고장 나면 $C_1,C_4$의 직렬 경로와 $C_2,C_5$의 직렬 경로가 병렬인 구조로 볼 수 있다.

$$P(W\mid C_3^c) = 1-(1-R_1R_4)(1-R_2R_5)$$

두 조건부 신뢰도에 $C_3$의 동작 확률과 고장 확률을 각각 곱해 더하면 전체 신뢰도를 얻는다. 복잡한 구조를 한 번에 전개하기보다, 구조를 단순하게 만드는 component를 골라 전확률 정리로 경우를 나누는 방식이다.

---

중요 개념 정리

1. 전확률 정리에서 $B_1,\ldots,B_n$은 관심 사건이 아니라 표본공간 전체의 분할이다.
2. 순열은 순서를 고려하고, 조합은 순서를 고려하지 않는다.
3. 같은 대상이 있는 순열에서는 같은 종류끼리의 배열 수를 나누고, 원순열에서는 회전으로 같아지는 배열을 하나로 본다.
4. 이항정리와 그 미분은 조합이 포함된 합과 이항분포의 평균·분산을 계산하는 데 사용된다.
5. 거듭제곱급수를 미분하면 $k$나 $k^2$이 곱해진 급수를 계산할 수 있다.
6. 큰 팩토리얼은 Stirling 공식으로 근사할 수 있다.
7. 독립인 module로 구성된 직렬 시스템은 신뢰도를 곱하고, 병렬 시스템은 모두 고장 날 확률의 여사건을 구한다.
8. 복잡한 신뢰도 구조는 한 module의 동작 여부를 조건으로 나누어 전확률 정리를 적용할 수 있다.