1.3. Matrix

선형대수학 글 목록

연결 강의: MIT 18.06 Linear Algebra - Lecture 1: The geometry of linear equations

1. 행렬곱과 선형결합

행렬과 벡터의 곱 AxAx는 여러 관점에서 볼 수 있다.

가장 중요한 관점은 AxAx가 행렬 AA의 열벡터들의 선형결합이라는 것이다.

세 벡터 uu, vv, ww가 있다고 하자.

u=[1−10],v=[01−1],w=[001]u = \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix}, \quad v = \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix}, \quad w = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}

이 세 벡터의 선형결합은 다음과 같다.

x1u+x2v+x3wx_1u+x_2v+x_3w

직접 계산하면 다음과 같다.

x1[1−10]+x2[01−1]+x3[001]=[x1x2−x1x3−x2]x_1 \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix} + x_2 \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} + x_3 \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix} = \begin{bmatrix} x_1 \\ x_2-x_1 \\ x_3-x_2 \end{bmatrix}

이 선형결합은 벡터들을 하나씩 따로 곱해서 더한 것이다.

그런데 uu, vv, ww를 행렬의 열벡터로 모으면, 같은 계산을 한 번의 행렬곱으로 표현할 수 있다.

A=[100−1100−11]A = \begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix}

그러면 다음이 성립한다.

[100−1100−11][x1x2x3]=[x1x2−x1x3−x2]\begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} x_1 \\ x_2-x_1 \\ x_3-x_2 \end{bmatrix}

즉, 행렬곱 AxAx는 다음 선형결합과 같은 의미이다.

Ax=x1u+x2v+x3wAx = x_1u+x_2v+x_3w

2. AxAx를 보는 두 가지 관점

AxAx는 두 가지 방식으로 해석할 수 있다.

첫 번째는 열벡터 관점이다.

Ax=x1[1−10]+x2[01−1]+x3[001]Ax = x_1 \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix} + x_2 \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} + x_3 \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}

즉, AxAx는 AA의 column들의 선형결합이다.

두 번째는 행 관점이다.

행렬의 각 row와 벡터 xx의 dot product를 계산하면 AxAx의 각 성분이 나온다.

[100−1100−11][x1x2x3]=[(1,0,0)⋅(x1,x2,x3)(−1,1,0)⋅(x1,x2,x3)(0,−1,1)⋅(x1,x2,x3)]\begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} (1,0,0)\cdot(x_1,x_2,x_3) \\ (-1,1,0)\cdot(x_1,x_2,x_3) \\ (0,-1,1)\cdot(x_1,x_2,x_3) \end{bmatrix}

따라서 행렬곱은 다음 두 관점을 동시에 가진다.

  1. column들의 선형결합
  2. row들과 벡터의 dot product

앞으로는 상황에 따라 두 관점을 번갈아 사용하게 된다.

3. 선형방정식 Ax=bAx=b

xx가 주어져 있을 때 Ax=bAx=b를 계산하는 것은 일종의 함수 계산이다.

입력 xx를 넣으면 행렬 AA가 출력 bb를 만든다.

반대로 bb가 주어져 있고 xx를 모른다면, 문제는 선형방정식이 된다.

Ax=bAx=b

이때 AA가 invertible matrix라면 양변에 A−1A^{-1}을 곱해서 해를 구할 수 있다.

x=A−1bx = A^{-1}b

즉, 선형방정식 Ax=bAx=b를 푸는 문제는 AA가 역행렬을 가지는지와 강하게 연결된다.

4. Difference matrix와 inverse matrix

위에서 본 행렬

A=[100−1100−11]A = \begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix}

는 difference matrix로 볼 수 있다.

왜냐하면 AxAx가 xx의 인접한 성분 차이를 만들기 때문이다.

Ax=[x1x2−x1x3−x2]=bAx = \begin{bmatrix} x_1 \\ x_2-x_1 \\ x_3-x_2 \end{bmatrix} = b

즉, AA는 원래 벡터 xx를 차이 벡터 bb로 바꾼다.

그렇다면 A−1A^{-1}은 반대 방향의 일을 한다.

차이 벡터 bb를 다시 누적해서 원래 벡터 xx를 복원한다.

즉, 다음처럼 볼 수 있다.

difference matrix A⟷sum matrix A−1\text{difference matrix } A \quad \longleftrightarrow \quad \text{sum matrix } A^{-1}

이 관계는 미분과 적분의 관계와 비슷하다.

미분은 함수의 변화량을 만들고, 적분은 변화량을 누적해서 원래 함수를 복원한다.

integration is the inverse of differentiation\text{integration is the inverse of differentiation}

벡터 xx를 함수 x(t)x(t)처럼 생각하면, difference matrix는 도함수에 가까운 역할을 한다.

Ax≈dxdt=bAx \approx \frac{dx}{dt}=b

반대로 역행렬은 변화량을 누적하는 적분처럼 볼 수 있다.

x(t)=A−1b≈∫0tb dtx(t)=A^{-1}b \approx \int_0^t b \, dt

5. Difference와 derivative의 예시

함수 x(t)=t2x(t)=t^2를 생각하자.

이 함수의 도함수는 다음과 같다.

dxdt=2t\frac{dx}{dt}=2t

하지만 discrete difference에서는 어떤 방식으로 차이를 잡는지에 따라 결과가 달라진다.

5.1 Backward difference

뒤쪽 값을 기준으로 차이를 잡으면 다음과 같다.

x(t)−x(t−1)=t2−(t−1)2x(t)-x(t-1) = t^2-(t-1)^2

전개하면,

t2−(t−1)2=t2−(t2−2t+1)=2t−1t^2-(t-1)^2 = t^2-(t^2-2t+1) = 2t-1

따라서 backward difference는 2t2t가 아니라 2t−12t-1을 준다.

5.2 Forward difference

앞쪽 값을 기준으로 차이를 잡으면 다음과 같다.

x(t+1)−x(t)=(t+1)2−t2=2t+1x(t+1)-x(t) = (t+1)^2-t^2 = 2t+1

이번에는 2t+12t+1이 나온다.

5.3 Centered difference

중앙 차이를 사용하면 더 정확하게 2t2t를 얻을 수 있다.

x(t+1)−x(t−1)2=(t+1)2−(t−1)22\frac{x(t+1)-x(t-1)}{2} = \frac{(t+1)^2-(t-1)^2}{2}

계산하면,

(t+1)2−(t−1)22=t2+2t+1−(t2−2t+1)2=2t\frac{(t+1)^2-(t-1)^2}{2} = \frac{t^2+2t+1-(t^2-2t+1)}{2} = 2t

여기서 분모 2는 t−1t-1부터 t+1t+1까지의 간격이다.

이 예시는 continuous derivative와 discrete difference가 어떻게 연결되는지 보여준다.

6. Cyclic difference matrix

이번에는 마지막 성분과 첫 번째 성분도 연결하는 cyclic difference를 보자.

다음 행렬을 생각하자.

C=[10−1−1100−11]C = \begin{bmatrix} 1 & 0 & -1 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix}

이 행렬의 열벡터는 다음과 같다.

u=[1−10],v=[01−1],w∗=[−101]u = \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix}, \quad v = \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix}, \quad w^* = \begin{bmatrix} -1 \\ 0 \\ 1 \end{bmatrix}

CxCx를 계산하면 다음과 같다.

Cx=[10−1−1100−11][x1x2x3]=[x1−x3x2−x1x3−x2]=bCx = \begin{bmatrix} 1 & 0 & -1 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} x_1-x_3 \\ x_2-x_1 \\ x_3-x_2 \end{bmatrix} =b

이 행렬은 앞의 difference matrix와 다르게 triangular matrix가 아니다.

또 중요한 특징은 CxCx의 세 성분을 모두 더하면 항상 0이 된다는 점이다.

(x1−x3)+(x2−x1)+(x3−x2)=0(x_1-x_3)+(x_2-x_1)+(x_3-x_2)=0

따라서 Cx=bCx=b가 해를 가지려면 bb의 성분 합도 반드시 0이어야 한다.

7. 해가 없는 경우와 무한히 많은 경우

예를 들어 다음 방정식을 생각하자.

Cx=b,b=[135]Cx=b, \quad b= \begin{bmatrix} 1 \\ 3 \\ 5 \end{bmatrix}

좌변 CxCx의 성분 합은 항상 0이다.

하지만 우변의 성분 합은 다음과 같다.

1+3+5=91+3+5=9

따라서 이 경우에는 해가 존재하지 않는다.

left side sum=0,right side sum=9\text{left side sum}=0, \quad \text{right side sum}=9

반대로 b1+b2+b3=0b_1+b_2+b_3=0인 경우에는 Cx=bCx=b가 해를 가질 수 있다.

다만 해가 하나만 존재하지는 않는다.

왜냐하면 CC의 nullspace에 다음과 같은 벡터들이 있기 때문이다.

x=[ccc]x = \begin{bmatrix} c \\ c \\ c \end{bmatrix}

실제로 x1=x2=x3=cx_1=x_2=x_3=c이면 모든 차이가 0이므로,

Cx=0Cx=0

이다.

즉, 하나의 해가 있으면 그 해에 상수벡터를 더해도 여전히 해가 된다. 그래서 compatible한 bb에 대해서는 해가 무한히 많다.

8. 선형독립과 선형종속

앞의 두 행렬은 column들의 독립성과 종속성을 비교하기 좋은 예시이다.

먼저 difference matrix AA의 열벡터 uu, vv, ww를 보자.

u=[1−10],v=[01−1],w=[001]u = \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix}, \quad v = \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix}, \quad w = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}

이 세 벡터는 선형독립이다.

즉,

x1u+x2v+x3w=0x_1u+x_2v+x_3w=0

을 만족하는 해는 다음뿐이다.

x1=x2=x3=0x_1=x_2=x_3=0

따라서 AA의 column들은 3차원 공간 전체를 생성하고, AA는 invertible matrix이다.

반면 cyclic difference matrix CC의 열벡터 uu, vv, w∗w^*는 선형종속이다.

u+v+w∗=0u+v+w^*=0

실제로 계산하면 다음과 같다.

[1−10]+[01−1]+[−101]=[000]\begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix} + \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} + \begin{bmatrix} -1 \\ 0 \\ 1 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix}

즉, w∗w^*는 나머지 두 벡터의 선형결합으로 표현된다.

w∗=−u−vw^*=-u-v

따라서 uu, vv, w∗w^*는 3차원 공간 전체를 생성하지 못하고, 하나의 평면 안에 놓인다.

9. Independence와 Dependence의 의미

선형독립은 어떤 벡터도 나머지 벡터들의 선형결합으로 표현되지 않는다는 뜻이다.

반대로 선형종속은 적어도 하나의 벡터가 나머지 벡터들의 선형결합으로 표현된다는 뜻이다.

방정식 관점에서는 다음처럼 말할 수 있다.

Independent columns

column들이 선형독립이면,

Ax=0Ax=0

은 오직 trivial solution만 가진다.

x=0x=0

정사각행렬에서 column들이 선형독립이면 행렬은 invertible matrix이다.

det⁡(A)≠0\det(A)\neq 0

Dependent columns

column들이 선형종속이면,

Cx=0Cx=0

은 0이 아닌 해를 가진다.

예를 들어 cyclic difference matrix에서는 다음이 성립한다.

C[ccc]=0C \begin{bmatrix} c \\ c \\ c \end{bmatrix} =0

따라서 CC는 singular matrix이다.

det⁡(C)=0\det(C)=0

10. 정리

이번 내용의 핵심은 행렬곱 AxAx를 여러 관점에서 보는 것이다.

  1. AxAx는 AA의 column들의 선형결합이다.
  2. AxAx의 각 성분은 AA의 row와 xx의 dot product이다.
  3. Ax=bAx=b에서 AA가 invertible이면 해는 x=A−1bx=A^{-1}b이다.
  4. Difference matrix는 벡터의 차이를 만들고, 그 역행렬은 차이를 누적한다.
  5. Cyclic difference matrix는 column들이 선형종속이므로 역행렬이 존재하지 않는다.
  6. Cx=bCx=b는 b1+b2+b3=0b_1+b_2+b_3=0일 때만 해를 가질 수 있고, 그 경우에도 해는 하나가 아니라 무한히 많다.
  7. 정사각행렬에서 independent columns는 invertibility와 연결되고, dependent columns는 singularity와 연결된다.