연결 강의: 이상화 교수 - 확률과 통계 (HYU 2014) 18강

Fourier transform

Chapter 6의 변환은 확률변수에 함수를 적용해 새로운 확률변수를 만드는 것이었다. 이번 transform method는 함수가 표현되는 domain 자체를 바꾼다. 시간에 따른 함수 x(t)x(t)를 angular frequency ω\omega에 따른 함수 X(ω)X(\omega)로 변환하는 Fourier transform은 다음과 같다.

X(ω)=∫−∞∞x(t)e−jωt dtX(\omega) = \int_{-\infty}^{\infty} x(t)e^{-j\omega t}\,dt

jj는 j2=−1j^2=-1을 만족하는 imaginary unit이고, ω\omega는 radian per second 단위의 angular frequency이다. 일반 frequency ff와는 다음 관계가 있다.

ω=2πf\omega=2\pi f

Inverse Fourier transform을 적용하면 frequency domain의 함수에서 원래 함수를 복원할 수 있다.

x(t)=12π∫−∞∞X(ω)ejωt dωx(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} X(\omega)e^{j\omega t}\,d\omega

Fourier transform은 함수가 어떤 주파수 성분으로 이루어져 있는지를 보여준다. 천천히 변하는 함수는 low-frequency 성분이 크고, 짧은 구간에서 빠르게 변하는 함수는 high-frequency 성분을 더 많이 포함한다.

Euler formula를 사용하면 complex exponential이 sine과 cosine을 함께 나타낸다는 것을 확인할 수 있다.

ejωt=cos⁡(ωt)+jsin⁡(ωt)e^{j\omega t} = \cos(\omega t)+j\sin(\omega t)

Basis function 관점

선형대수에서 vector x\mathbf{x}는 basis vectors의 linear combination으로 표현할 수 있다.

x=∑iαibi\mathbf{x} = \sum_i \alpha_i\mathbf{b}_i

Basis vectors가 orthonormal이면 내적으로 각 coefficient를 바로 구할 수 있다.

αi=⟨x,bi⟩\alpha_i = \langle\mathbf{x},\mathbf{b}_i\rangle

함수도 같은 방식으로 볼 수 있다. 두 실수 함수의 inner product를 다음처럼 정의할 수 있다.

⟨f,g⟩=∫f(t)g(t) dt\langle f,g\rangle = \int f(t)g(t)\,dt

복소함수에서는 한쪽 함수에 complex conjugate를 취한다.

⟨f,g⟩=∫f(t)g(t)‾ dt\langle f,g\rangle = \int f(t)\overline{g(t)}\,dt

Sine과 cosine은 적절한 구간에서 서로 orthogonal하므로 basis functions로 사용할 수 있다. Fourier series는 주기함수를 서로 다른 주파수의 sine과 cosine의 합으로 나타내며, Fourier transform은 이 관점을 비주기 함수와 연속적인 주파수로 확장한다.

특성함수

확률변수 XX의 characteristic function은 다음과 같이 정의한다.

ϕX(ω)=E[ejωX]\phi_X(\omega) = E\left[e^{j\omega X}\right]

연속 확률변수에서는 PDF를 이용해 다음처럼 쓴다.

ϕX(ω)=∫−∞∞ejωxfX(x) dx\phi_X(\omega) = \int_{-\infty}^{\infty} e^{j\omega x}f_X(x)\,dx

이산 확률변수에서는 합으로 표현한다.

ϕX(ω)=∑xejωxpX(x)\phi_X(\omega) = \sum_x e^{j\omega x}p_X(x)

부호가 일반적인 Fourier transform 정의와 반대이지만 본질적으로 PDF를 frequency domain으로 옮긴 것이다. ∣ejωX∣=1|e^{j\omega X}|=1이므로 characteristic function은 모든 확률분포에 대해 존재한다.

주파수 ω=0\omega=0을 대입하면 항상 1이다.

ϕX(0)=E[1]=1\phi_X(0) = E[1] = 1

적절한 조건에서 inverse transform으로 PDF를 복원할 수 있다.

fX(x)=12π∫−∞∞ϕX(ω)e−jωx dωf_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} \phi_X(\omega)e^{-j\omega x}\,d\omega

Moment를 얻는 성질

Characteristic function을 ω\omega에 대해 한 번 미분하면 다음과 같다.

ϕX′(ω)=E[jXejωX]\phi_X'(\omega) = E\left[jXe^{j\omega X}\right]

ω=0\omega=0을 대입하면 first raw moment가 나온다.

ϕX′(0)=jE[X]\phi_X'(0) = jE[X]

두 번 미분하면 second raw moment를 얻는다.

ϕX′′(0)=j2E[X2]=−E[X2]\phi_X''(0) = j^2E[X^2] = -E[X^2]

일반적으로 필요한 moment가 존재하고 미분과 기댓값의 순서를 바꿀 수 있다면 다음 관계가 성립한다.

ϕX(n)(0)=jnE[Xn]\phi_X^{(n)}(0) = j^nE[X^n]

따라서 raw moment는 다음과 같이 구한다.

E[Xn]=ϕX(n)(0)jnE[X^n] = \frac{\phi_X^{(n)}(0)}{j^n}

PDF에서 moment를 직접 적분하는 대신 characteristic function을 미분하여 구할 수 있다는 의미이다.

Convolution이 곱셈으로 바뀌는 성질

XX, YY가 independent이고 다음과 같이 합을 정의한다고 하자.

Z=X+YZ=X+Y

Probability domain에서 ZZ의 PDF는 convolution이다.

fZ=fX∗fYf_Z=f_X*f_Y

Characteristic function은 기댓값의 곱으로 간단히 분리된다.

ϕZ(ω)=E[ejω(X+Y)]=E[ejωXejωY]=E[ejωX]E[ejωY]=ϕX(ω)ϕY(ω)\begin{aligned} \phi_Z(\omega) &=E\left[e^{j\omega(X+Y)}\right] \\ &=E\left[e^{j\omega X}e^{j\omega Y}\right] \\ &=E\left[e^{j\omega X}\right] E\left[e^{j\omega Y}\right] \\ &=\phi_X(\omega)\phi_Y(\omega) \end{aligned}

마지막 분리는 XX, YY의 독립성 때문에 가능하다. 계산하기 까다로운 convolution이 frequency domain에서는 단순한 곱셈이 된다. 곱한 characteristic function에 inverse transform을 적용하면 합의 PDF를 구할 수 있다.

여러 독립 확률변수의 합도 같은 방식으로 확장된다.

ϕX1+⋯+Xn(ω)=∏i=1nϕXi(ω)\phi_{X_1+\cdots+X_n}(\omega) = \prod_{i=1}^{n}\phi_{X_i}(\omega)

Normal distribution의 특성함수

XX가 평균 μ\mu와 분산 σ2\sigma^2을 갖는 normal distribution을 따른다고 하자.

X∼N(μ,σ2)X\sim\mathcal{N}(\mu,\sigma^2)

PDF를 characteristic function의 정의에 대입하고 지수부를 완전제곱으로 정리하면 다음 결과를 얻는다.

ϕX(ω)=exp⁡(jμω−12σ2ω2)\phi_X(\omega) = \exp\left( j\mu\omega -\frac{1}{2}\sigma^2\omega^2 \right)

ω=0\omega=0에서 한 번 미분하면 평균을 확인할 수 있다.

ϕX′(0)=jμ\phi_X'(0)=j\mu

두 번 미분하면 다음 값을 얻는다.

ϕX′′(0)=−(μ2+σ2)\phi_X''(0) = -(\mu^2+\sigma^2)

따라서 second raw moment와 variance가 기존 결과와 일치한다.

E[X2]=μ2+σ2E[X^2]=\mu^2+\sigma^2 Var⁡(X)=E[X2]−E[X]2=σ2\operatorname{Var}(X) = E[X^2]-E[X]^2 = \sigma^2

중요 개념 정리

  • Fourier transform은 시간이나 공간에서 정의된 함수를 frequency domain으로 옮긴다.
  • Characteristic function은 E[ejωX]E[e^{j\omega X}]로 정의되며 확률분포를 고유하게 나타낸다.
  • Characteristic function을 0에서 미분하면 확률변수의 raw moments를 구할 수 있다.
  • 독립 확률변수의 합에서 PDF의 convolution은 characteristic function의 곱셈으로 바뀐다.
  • Normal distribution의 characteristic function은 exp⁡(jμω−σ2ω2/2)\exp(j\mu\omega-\sigma^2\omega^2/2)이다.