연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 3강
1. 사건에서 확률변수로
지금까지는 표본공간의 부분집합인 사건을 중심으로 확률을 다뤘다. 이제는 실험에서 나온 각 결과를 실수에 대응시켜 확률을 함수처럼 다룬다.
표본공간을 , 하나의 결과를 라고 하자. 확률변수(random variable) 는 각 결과 를 하나의 실수에 대응시키는 함수이다.
특정 결과 가 나오면 확률변수는 다음과 같은 값을 갖는다.
실험 결과는 반드시 숫자일 필요가 없다. 동전의 앞면과 뒷면, 날씨의 맑음과 흐림처럼 숫자가 아닌 결과도 목적에 맞는 실수로 매핑하면 확률변수로 다룰 수 있다.
확률변수라는 이름 때문에 함수 자체가 무작위로 바뀐다고 생각하기 쉽지만, 매핑 규칙 는 고정되어 있다. 어떤 가 나올지 무작위이므로 그에 대응하는 값 도 무작위로 결정되는 것이다.
1.1 동전을 한 번 던지는 예시
동전을 한 번 던지는 실험의 표본공간은 다음과 같다.
앞면을 1, 뒷면을 0에 대응시키는 확률변수 를 정의할 수 있다.
공정한 동전이라면 다음과 같다.
앞면을 0, 뒷면을 1로 정해도 되고 다른 실수값을 부여해도 된다. 다만 어떤 매핑을 선택했는지에 따라 확률변수가 갖는 값과 분포의 표현이 달라진다.
2. 동전을 두 번 던지는 예시
동전을 두 번 던졌을 때 앞면이 나온 횟수를 확률변수 로 정의하자.
각 결과는 다음과 같이 매핑된다.
공정한 동전이라면 각 값의 확률은 다음과 같다.
같은 표본공간에서도 확률변수를 다르게 정의할 수 있다. 뒷면의 횟수, 앞면 횟수의 제곱, 두 결과가 같은지를 나타내는 0과 1 등 목적에 따라 여러 함수가 가능하다.
3. 확률변수의 값에 대응하는 사건
확률변수의 값은 실수이지만, 확률은 여전히 표본공간의 사건에 부여된다.
가 되는 모든 결과를 모은 사건을 다음과 같이 쓸 수 있다.
는 함수 에 의해 값 로 매핑되는 결과들의 역상(preimage)이다. 따라서 다음 두 확률은 같은 의미이다.
동전을 두 번 던지는 예시에서는 다음과 같다.
범위로 정의한 확률도 같은 방식으로 사건으로 되돌릴 수 있다.
확률변수를 사용하면 표본공간의 구체적인 결과를 매번 나열하지 않고도 숫자의 범위와 함수로 확률 문제를 표현할 수 있다. 다만 그 뒤에는 항상 해당 조건을 만족하는 결과들의 사건이 있다는 점을 기억해야 한다.
3.1 대문자와 소문자의 구분
관례적으로 대문자 는 확률변수 자체를 나타내고, 소문자 는 그 확률변수가 가질 수 있는 특정한 값을 나타낸다.
위 식은 확률변수 가 특정 값 를 갖는 사건을 뜻한다.
4. 확률분포
확률분포(distribution)는 확률변수가 어떤 값을 얼마나 자주 갖는지를 확률로 나타낸 것이다. 확률변수의 가능한 값과 각 값 또는 구간에 부여된 확률을 알면 그 확률변수의 불확실성을 설명할 수 있다.
분포를 표현하는 가장 일반적인 방법이 누적분포함수이다.
5. 누적분포함수
확률변수 의 누적분포함수(cumulative distribution function, CDF)는 다음과 같이 정의한다.
는 이하에 쌓인 모든 확률을 누적한 값이다. 를 오른쪽으로 이동시키면 포함되는 결과가 늘어나므로 CDF는 감소할 수 없다.
5.1 CDF의 기본 성질
첫째, CDF의 값은 확률이므로 항상 0과 1 사이에 있다.
둘째, 이면 다음 관계가 성립한다.
과 사이에 확률이 없다면 두 값은 같을 수 있다. 따라서 CDF는 엄격하게 증가하는 함수가 아니라 단조 비감소 함수이다.
셋째, 양 끝에서 다음 극한을 갖는다.
넷째, CDF는 오른쪽 연속이다.
이산 확률변수의 CDF에는 점프가 있을 수 있지만, 점프가 일어나는 지점의 함수값은 그 지점의 확률까지 포함한 오른쪽 값이다. 이는 CDF가 가 아니라 로 정의되기 때문이다.
6. CDF로 확률 구하기
CDF를 알면 다양한 구간의 확률을 계산할 수 있다.
6.1 반열린 구간
다음 확률은 이하의 누적 확률에서 이하의 누적 확률을 빼면 된다.
6.2 여사건
보다 큰 확률은 이하일 확률의 여사건이다.
6.3 등호 위치와 왼쪽 극한
이산 확률변수에서는 특정 값 하나가 양의 확률을 가질 수 있으므로 등호의 위치가 중요하다.
의 왼쪽 극한을 다음과 같이 정의한다.
따라서 한 점에 모인 확률은 CDF의 점프 크기와 같다.
이를 이용하면 등호의 위치가 다른 확률도 구분할 수 있다.
CDF가 에서 연속이면 이므로 다음과 같다.
반대로 CDF가 에서 점프한다면 그 점프만큼 일 확률이 존재한다.
7. 이산 확률변수
이산 확률변수(discrete random variable)는 가능한 값을 하나씩 셀 수 있는 확률변수이다. 가능한 값이 유한하거나 자연수처럼 가산무한인 경우가 이에 해당한다.
각 값 사이에 다른 실수가 존재하더라도, 확률변수가 실제로 가질 수 있는 값들이 서로 떨어져 있다는 뜻에서 이산이라고 한다.
8. 확률질량함수
이산 확률변수 의 확률질량함수(probability mass function, PMF)는 각 값이 나타날 확률을 직접 나타낸다.
PMF는 다음 조건을 만족한다.
이산 확률변수의 CDF는 이하에 있는 모든 확률질량을 더하여 구한다.
따라서 PMF를 알면 CDF를 구할 수 있고, CDF의 각 점프 크기를 구하면 PMF를 복원할 수 있다.
9. 동전 두 번 던지기의 PMF와 CDF
앞면의 횟수를 라고 했을 때 PMF는 다음과 같다.
이 PMF를 차례로 누적하면 CDF를 얻는다.
이산 확률변수의 CDF는 확률질량이 있는 지점에서 위로 올라가고, 그 사이에서는 같은 값을 유지하는 계단 함수(step function)가 된다.
- 에서 만큼 증가한다.
- 에서 만큼 증가한다.
- 에서 만큼 증가하여 최종적으로 1이 된다.
각 계단의 높이 변화가 바로 해당 값의 PMF이다.
10. 이산 확률질량의 impulse 표현
신호 처리에서는 이산적인 확률질량을 실수축 위의 impulse들을 이용해 한 식으로 나타내기도 한다.
가능한 값이 이고 각 확률이 라면 다음과 같이 쓸 수 있다.
여기서 는 에 놓인 Dirac delta이며, 보통 함수처럼 보이지만 한 점에서의 높이가 아니라 전체 면적이 1이 되도록 정의되는 generalized function이다. 따라서 그래프의 막대 높이로 이해하는 PMF와 impulse 표현을 엄밀하게는 구분해야 한다.
동전 두 번 던지기 예시를 impulse로 나타내면 다음과 같다.
확률 계산만 할 때는 PMF의 구간별 정의가 더 직접적이고, impulse 표현은 이후 신호와 시스템에서 이산 질량을 연속축 위에 나타낼 때 유용하다.
11. 연속 확률변수의 예고
연속 확률변수에서는 한 점이 갖는 확률이 0이므로 이산 확률변수처럼 각 값의 PMF를 나열할 수 없다. 대신 확률밀도함수(probability density function, PDF)를 정의하고 구간의 넓이로 확률을 계산한다.
연속 확률변수에서는 한 점의 넓이가 0이므로 다음과 같다.
이 때문에 연속인 경우에는 구간 끝에 등호를 붙이는 위치가 확률값을 바꾸지 않는다. 이산인 경우에는 한 점에 확률질량이 존재할 수 있으므로 등호를 반드시 구분해야 한다.
중요 개념 정리
- 확률변수는 표본공간의 각 결과를 실수에 대응시키는 함수이다.
- 는 값 로 매핑되는 모든 결과의 사건이 발생할 확률이다.
- 대문자 는 확률변수, 소문자 는 확률변수가 가질 수 있는 특정 값을 나타낸다.
- CDF는 이며 확률을 왼쪽부터 누적한 함수이다.
- CDF는 0과 1 사이의 단조 비감소 함수이고, 오른쪽 연속이며 양 끝에서 0과 1로 수렴한다.
- 한 점의 확률은 CDF의 점프 크기인 와 같다.
- 이산 확률변수의 PMF는 각 값의 확률을 나타내며, CDF는 PMF를 누적한 계단 함수이다.
- 연속 확률변수는 한 점의 확률 대신 PDF의 구간 넓이로 확률을 계산한다.