6.1. Introduction to Eigenvalues

선형대수학 글 목록

연결 강의: MIT 18.06 Linear Algebra - Lecture 21: Eigenvalues and Eigenvectors

1. 고유값 단원의 시작

이번 강의부터 eigenvalue와 eigenvector를 다룬다.

선형대수학에서 고유값과 고유벡터는 매우 큰 주제이다. 앞으로 남은 강의의 많은 부분이 이 주제와 연결된다.

지금까지는 주로 Ax=bAx=b를 풀거나, 행렬의 열공간, 영공간, 직교성, 투영, 행렬식 같은 내용을 다뤘다. 이제는 정사각행렬 AA가 벡터를 어떻게 변형하는지 더 깊게 본다.

이번 강의의 핵심 질문은 다음이다.

  1. eigenvector란 무엇인가
  2. eigenvalue란 무엇인가
  3. eigenvalue와 eigenvector를 어떻게 찾는가
  4. 어떤 경우에 좋은 일이 생기고, 어떤 경우에 문제가 생기는가

2. 행렬은 벡터를 바꾸는 함수이다

행렬 AA는 벡터에 작용한다.

벡터 xx를 넣으면, 행렬은 새로운 벡터 AxAx를 만든다.

x⟼Axx \longmapsto Ax

이것은 함수와 비슷하다.

미적분에서 함수는 숫자 xx를 받아 숫자 f(x)f(x)를 출력한다.

선형대수학에서는 행렬이 벡터 xx를 받아 벡터 AxAx를 출력한다.

대부분의 벡터는 행렬을 곱하면 방향이 바뀐다.

즉, 일반적으로 AxAx는 xx와 다른 방향을 가리킨다.

하지만 특별한 벡터들이 있다. 행렬을 곱해도 방향이 바뀌지 않는 벡터들이다.

이런 벡터를 eigenvector라고 한다.

3. Eigenvector와 eigenvalue의 정의

eigenvector는 행렬 AA를 곱했을 때 원래 벡터와 평행한 방향으로 나오는 벡터이다.

즉, 다음을 만족하는 0이 아닌 벡터 xx이다.

Ax=λxAx = \lambda x

여기서 xx가 eigenvector이고, λ\lambda가 eigenvalue이다.

λ\lambda는 xx가 얼마나 늘어나거나 줄어드는지를 나타내는 배율이다.

예를 들어 다음과 같이 해석할 수 있다.

  1. λ=2\lambda=2이면 벡터가 같은 방향으로 2배 늘어난다.
  2. λ=12\lambda=\frac{1}{2}이면 벡터가 같은 방향으로 절반이 된다.
  3. λ=−1\lambda=-1이면 벡터가 반대 방향으로 뒤집힌다.
  4. λ=0\lambda=0이면 벡터가 0으로 보내진다.

여기서 중요한 점은 eigenvector는 반드시 0이 아닌 벡터여야 한다는 것이다.

0벡터는 어떤 λ\lambda에 대해서도

A0=λ0A0=\lambda 0

을 만족하기 때문에 의미가 없다. 그래서 eigenvector에서는 0벡터를 제외한다.

4. eigenvalue가 0인 경우

λ=0\lambda=0인 경우를 보자.

eigenvalue가 0이면 다음 식이 된다.

Ax=0xAx=0x

즉,

Ax=0Ax=0

이다.

따라서 eigenvalue가 0인 eigenvector는 AA의 nullspace 안에 있는 0이 아닌 벡터이다.

즉,

λ=0⟺there is a nonzero x such that Ax=0\lambda=0 \quad \Longleftrightarrow \quad \text{there is a nonzero } x \text{ such that } Ax=0

이다.

이것은 곧 AA가 singular matrix라는 뜻이다.

따라서 다음이 성립한다.

A is singular⟺0 is an eigenvalue of AA \text{ is singular} \quad \Longleftrightarrow \quad 0 \text{ is an eigenvalue of } A

고유값 관점에서는 λ=0\lambda=0도 특별히 예외적인 값이 아니다. 다만 nullspace와 직접 연결된 eigenvalue일 뿐이다.

5. Projection matrix의 eigenvalues

먼저 그림으로 이해하기 쉬운 projection matrix를 보자.

어떤 평면 위로 벡터를 투영하는 projection matrix PP가 있다고 하자.

임의의 벡터 bb를 PP로 곱하면 PbPb는 그 평면 위로 내려간 투영벡터가 된다.

일반적인 bb는 eigenvector가 아니다.

왜냐하면 bb와 PbPb의 방향이 다르기 때문이다.

그렇다면 어떤 벡터가 projection matrix의 eigenvector일까?

5.1 평면 안에 있는 벡터

벡터 xx가 이미 projection plane 안에 있다고 하자.

그러면 xx를 평면에 투영해도 아무 변화가 없다.

Px=xPx=x

이 식은 다음과 같이 볼 수 있다.

Px=1xPx=1x

따라서 평면 안에 있는 모든 0이 아닌 벡터는 eigenvector이고, 그 eigenvalue는 1이다.

λ=1\lambda=1

즉, projection matrix는 평면 위의 방향들을 그대로 보존한다.

5.2 평면에 수직인 벡터

이번에는 벡터 xx가 projection plane에 수직이라고 하자.

이 벡터를 평면에 투영하면 0벡터가 된다.

Px=0Px=0

이는 다음과 같다.

Px=0xPx=0x

따라서 평면에 수직인 방향의 eigenvalue는 0이다.

λ=0\lambda=0

정리하면 projection matrix의 eigenvalues는 다음과 같다.

λ=1,0\lambda=1,\quad 0

평면 안의 벡터들은 eigenvalue 1을 가지고, 평면에 수직인 벡터들은 eigenvalue 0을 가진다.

projection matrix는 이처럼 기하적으로 eigenvector를 이해하기 좋은 예시이다.

6. Permutation matrix 예시

다음 permutation matrix를 생각하자.

A=[0110]A = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}

이 행렬은 벡터의 두 성분을 서로 바꾼다.

A[x1x2]=[x2x1]A \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} x_2 \\ x_1 \end{bmatrix}

이제 어떤 벡터가 이 행렬의 eigenvector인지 찾아보자.

6.1 eigenvalue 1

벡터

x1=[11]x_1 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

를 생각하자.

이 벡터는 두 성분이 같기 때문에 성분을 바꿔도 변하지 않는다.

A[11]=[11]A \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

따라서,

Ax1=1x1Ax_1=1x_1

이다.

즉, x1=[1 1]Tx_1=[1 \ 1]^T는 eigenvector이고 eigenvalue는 1이다.

6.2 eigenvalue −1-1

이번에는 벡터

x2=[−11]x_2 = \begin{bmatrix} -1 \\ 1 \end{bmatrix}

를 보자.

행렬 AA를 곱하면 두 성분이 바뀐다.

A[−11]=[1−1]A \begin{bmatrix} -1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \\ -1 \end{bmatrix}

그런데 이는 원래 벡터의 −1-1배이다.

[1−1]=−[−11]\begin{bmatrix} 1 \\ -1 \end{bmatrix} = - \begin{bmatrix} -1 \\ 1 \end{bmatrix}

따라서,

Ax2=−x2Ax_2=-x_2

이다.

즉, 두 번째 eigenvalue는 −1-1이다.

이 행렬의 eigenvalues는 다음과 같다.

1,−11,\quad -1

7. Trace와 eigenvalue의 합

방금 본 permutation matrix의 대각성분은 모두 0이다.

A=[0110]A = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}

대각성분의 합을 trace라고 한다.

tr⁡(A)=a11+a22+⋯+ann\operatorname{tr}(A)=a_{11}+a_{22}+\cdots+a_{nn}

이 예시에서는 trace가 0이다.

tr⁡(A)=0+0=0\operatorname{tr}(A)=0+0=0

그리고 eigenvalues의 합도 다음과 같이 0이다.

1+(−1)=01+(-1)=0

일반적으로 eigenvalues의 합은 trace와 같다.

λ1+λ2+⋯+λn=tr⁡(A)\lambda_1+\lambda_2+\cdots+\lambda_n = \operatorname{tr}(A)

2×22 \times 2 행렬에서는 이 성질이 특히 유용하다. eigenvalue 하나를 알고 trace를 알면 다른 eigenvalue를 바로 알 수 있기 때문이다.

8. eigenvalue를 찾는 방법

이제 일반적인 방법을 보자.

eigenvector와 eigenvalue는 다음 식을 만족한다.

Ax=λxAx=\lambda x

여기서 xx와 λ\lambda를 둘 다 모른다.

이 식은 일반적인 선형방정식 Ax=bAx=b와 다르다. 오른쪽에 미지수 λ\lambda와 미지수 xx가 곱해져 있기 때문이다.

해결 방법은 오른쪽 항을 왼쪽으로 옮기는 것이다.

Ax−λx=0Ax-\lambda x=0

λx\lambda x는 λIx\lambda I x로 쓸 수 있다.

λx=λIx\lambda x=\lambda I x

따라서,

Ax−λIx=0Ax-\lambda I x=0

공통으로 xx를 묶으면 다음이 된다.

(A−λI)x=0(A-\lambda I)x=0

이제 문제는 다음과 같다.

(A−λI)x=0(A-\lambda I)x=0

여기서 xx는 0이 아닌 벡터여야 한다.

즉, A−λIA-\lambda I가 0이 아닌 null vector를 가져야 한다.

이는 A−λIA-\lambda I가 singular matrix라는 뜻이다.

따라서 determinant가 0이어야 한다.

det⁡(A−λI)=0\det(A-\lambda I)=0

이 식을 characteristic equation이라고 한다.

eigenvalue를 찾는 핵심 공식은 다음이다.

det⁡(A−λI)=0\boxed{ \det(A-\lambda I)=0 }

9. eigenvector를 찾는 순서

eigenvalue와 eigenvector를 찾는 순서는 다음과 같다.

  1. characteristic equation을 푼다.
det⁡(A−λI)=0\det(A-\lambda I)=0
  1. 여기서 eigenvalue λ\lambda들을 구한다.
  2. 각 λ\lambda에 대해 다음 homogeneous equation을 푼다.
(A−λI)x=0(A-\lambda I)x=0
  1. 이 nullspace 안의 0이 아닌 벡터들이 eigenvector이다.

즉, 먼저 eigenvalue를 구하고, 그 다음 nullspace를 구해서 eigenvector를 찾는다.

10. 대칭행렬 예시

다음 행렬을 생각하자.

A=[3113]A = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix}

이 행렬은 symmetric matrix이다.

AT=AA^T=A

symmetric matrix는 좋은 성질을 많이 가진다.

대표적으로 eigenvalues가 real number로 나오고, 서로 다른 eigenvalues에 대응하는 eigenvectors가 perpendicular가 된다.

이 예시에서 직접 확인해보자.

11. characteristic equation 계산

먼저 A−λIA-\lambda I를 만든다.

A−λI=[3−λ113−λ]A-\lambda I = \begin{bmatrix} 3-\lambda & 1 \\ 1 & 3-\lambda \end{bmatrix}

determinant를 계산하면 다음과 같다.

det⁡(A−λI)=∣3−λ113−λ∣\det(A-\lambda I) = \left| \begin{matrix} 3-\lambda & 1 \\ 1 & 3-\lambda \end{matrix} \right|

따라서,

det⁡(A−λI)=(3−λ)2−1\det(A-\lambda I) = (3-\lambda)^2-1

이를 전개하면,

(3−λ)2−1=λ2−6λ+8(3-\lambda)^2-1 = \lambda^2-6\lambda+8

characteristic equation은 다음이다.

λ2−6λ+8=0\lambda^2-6\lambda+8=0

인수분해하면,

(λ−4)(λ−2)=0(\lambda-4)(\lambda-2)=0

따라서 eigenvalues는 다음과 같다.

λ1=4,λ2=2\lambda_1=4, \quad \lambda_2=2

여기서 coefficient들을 보면 2×22 \times 2 행렬의 특징이 드러난다.

λ2−tr⁡(A)λ+det⁡(A)=0\lambda^2-\operatorname{tr}(A)\lambda+\det(A)=0

이 예시에서 trace는 다음과 같다.

tr⁡(A)=3+3=6\operatorname{tr}(A)=3+3=6

그리고 determinant는 다음과 같다.

det⁡(A)=3⋅3−1⋅1=8\det(A)=3\cdot 3-1\cdot 1=8

그래서 characteristic equation이 다음처럼 나온다.

λ2−6λ+8=0\lambda^2-6\lambda+8=0

즉, 2×22 \times 2 행렬에서는 eigenvalues의 합이 trace이고, eigenvalues의 곱이 determinant이다.

λ1+λ2=tr⁡(A)\lambda_1+\lambda_2=\operatorname{tr}(A) λ1λ2=det⁡(A)\lambda_1\lambda_2=\det(A)

실제로,

4+2=64+2=6 4⋅2=84\cdot 2=8

이다.

12. λ=4\lambda=4의 eigenvector

이제 eigenvector를 찾자.

먼저 λ1=4\lambda_1=4를 사용한다.

A−4I=[−111−1]A-4I = \begin{bmatrix} -1 & 1 \\ 1 & -1 \end{bmatrix}

eigenvector는 이 행렬의 nullspace에 있다.

즉, 다음을 풀면 된다.

(A−4I)x=0(A-4I)x=0

행렬을 보면 두 행이 서로 종속이다.

[−111−1]\begin{bmatrix} -1 & 1 \\ 1 & -1 \end{bmatrix}

nullspace의 대표 벡터는 다음이다.

x1=[11]x_1 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

실제로,

[−111−1][11]=[00]\begin{bmatrix} -1 & 1 \\ 1 & -1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

따라서 λ=4\lambda=4에 대응하는 eigenvector로 [1 1]T[1 \ 1]^T를 잡을 수 있다.

13. λ=2\lambda=2의 eigenvector

이번에는 λ2=2\lambda_2=2를 사용한다.

A−2I=[1111]A-2I = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}

이 행렬의 nullspace를 구하면 된다.

(A−2I)x=0(A-2I)x=0

대표적인 null vector는 다음이다.

x2=[−11]x_2 = \begin{bmatrix} -1 \\ 1 \end{bmatrix}

확인하면,

[1111][−11]=[00]\begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} -1 \\ 1 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

따라서 λ=2\lambda=2에 대응하는 eigenvector는 [−1 1]T[-1 \ 1]^T로 잡을 수 있다.

이제 두 eigenvector를 비교해보자.

[11]⋅[−11]=−1+1=0\begin{bmatrix} 1 \\ 1 \end{bmatrix} \cdot \begin{bmatrix} -1 \\ 1 \end{bmatrix} = -1+1=0

두 벡터는 perpendicular이다.

이것은 symmetric matrix에서 매우 중요한 성질이다.

14. 3I3I를 더하면 eigenvalue가 어떻게 변하는가

방금 본 행렬은 permutation matrix에 3I3I를 더한 형태로 볼 수 있다.

먼저 permutation matrix는 다음이었다.

[0110]\begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}

여기에 3I3I를 더하면 다음 행렬이 된다.

[0110]+3[1001]=[3113]\begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix} + 3 \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix}

permutation matrix의 eigenvalues는 11, −1-1이었다.

여기에 3I3I를 더하자 eigenvalues는 44, 22가 되었다.

즉, eigenvalues가 각각 3만큼 증가했다.

eigenvectors는 변하지 않았다.

왜 그런지 식으로 보면 간단하다.

만약

Ax=λxAx=\lambda x

라면,

(A+3I)x=Ax+3Ix(A+3I)x=Ax+3Ix

따라서,

(A+3I)x=λx+3x(A+3I)x=\lambda x+3x

정리하면,

(A+3I)x=(λ+3)x(A+3I)x=(\lambda+3)x

즉, A+3IA+3I의 eigenvector는 그대로 xx이고, eigenvalue만 λ+3\lambda+3으로 바뀐다.

더 일반적으로,

(A+cI)x=(λ+c)x(A+cI)x=(\lambda+c)x

이다.

15. 일반적인 행렬을 더할 때는 조심해야 한다

3I3I를 더하는 경우에는 eigenvectors가 그대로 유지되었다.

하지만 일반적인 행렬 BB를 더할 때는 그렇게 단순하지 않다.

예를 들어 AA의 eigenvector가 xx이고,

Ax=λxAx=\lambda x

라고 하자.

또 BB의 어떤 eigenvalue가 α\alpha라고 하자.

여기서 바로 다음처럼 쓰고 싶을 수 있다.

Bx=αxBx=\alpha x

그런데 이것은 일반적으로 성립하지 않는다.

xx가 AA의 eigenvector라고 해서 BB의 eigenvector라는 보장은 없기 때문이다.

만약 잘못해서 다음처럼 더하면,

Ax+Bx=λx+αxAx+Bx=\lambda x+\alpha x

그래서,

(A+B)x=(λ+α)x(A+B)x=(\lambda+\alpha)x

라고 생각할 수 있지만, 일반적으로 틀린 주장이다.

eigenvalue는 행렬 덧셈에 대해 단순히 더해지지 않는다.

마찬가지로 행렬곱에 대해서도 일반적으로 eigenvalues가 단순히 곱해지지 않는다.

즉, 보통은 다음이 성립하지 않는다.

λ(A+B)=λ(A)+λ(B)\lambda(A+B)=\lambda(A)+\lambda(B)

또한 일반적으로 다음도 성립하지 않는다.

λ(AB)=λ(A)λ(B)\lambda(AB)=\lambda(A)\lambda(B)

특별한 경우에는 가능하다. 예를 들어 B=cIB=cI이거나, 두 행렬이 같은 eigenvectors를 공유하는 경우에는 단순한 관계가 생길 수 있다.

하지만 일반적인 행렬에서는 A+BA+B나 ABAB에 대해 다시 eigenvalue problem을 풀어야 한다.

16. Rotation matrix와 complex eigenvalues

이번에는 90도 회전행렬을 보자.

Q=[0−110]Q = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}

이 행렬은 평면의 모든 벡터를 반시계 방향으로 90도 회전시킨다.

그렇다면 real eigenvector가 존재할까?

eigenvector는 행렬을 곱해도 방향이 변하지 않아야 한다.

하지만 90도 회전은 0이 아닌 모든 real vector의 방향을 바꾼다. 어떤 real vector도 자기 자신과 평행한 방향으로 가지 않는다.

따라서 real eigenvector는 없다.

그런데 characteristic equation을 계산하면 eigenvalues는 나온다.

Q−λI=[−λ−11−λ]Q-\lambda I = \begin{bmatrix} -\lambda & -1 \\ 1 & -\lambda \end{bmatrix}

determinant는 다음과 같다.

det⁡(Q−λI)=(−λ)(−λ)−(−1)(1)\det(Q-\lambda I) = (-\lambda)(-\lambda)-(-1)(1)

따라서,

det⁡(Q−λI)=λ2+1\det(Q-\lambda I)=\lambda^2+1

characteristic equation은 다음이다.

λ2+1=0\lambda^2+1=0

따라서 eigenvalues는 다음과 같다.

λ1=i,λ2=−i\lambda_1=i, \quad \lambda_2=-i

즉, real matrix에서도 complex eigenvalues가 나올 수 있다.

이 예시는 그 사실을 가장 단순하게 보여준다.

17. Real matrix의 complex eigenvalues

행렬 QQ는 완전히 real matrix이다.

Q=[0−110]Q = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}

하지만 eigenvalues는 complex number이다.

i,−ii,\quad -i

real coefficient를 가진 characteristic polynomial의 complex roots는 conjugate pair로 나온다.

따라서 real matrix에서 complex eigenvalue가 하나 나오면, 그 conjugate도 함께 나온다.

이 경우에는 ii와 −i-i가 한 쌍이다.

symmetric matrix에서는 이런 일이 일어나지 않는다.

real symmetric matrix의 eigenvalues는 항상 real이다.

반대로 QQ는 symmetric이 아니라 skew-symmetric이다.

QT=−QQ^T=-Q

skew-symmetric matrix는 pure imaginary eigenvalues를 가질 수 있다.

따라서 이 예시는 symmetric matrix와 skew-symmetric matrix가 eigenvalue 관점에서 얼마나 다른지를 보여준다.

18. Repeated eigenvalue에서 생길 수 있는 문제

마지막으로 repeated eigenvalue가 만드는 문제를 보자.

다음 행렬을 생각하자.

A=[3103]A = \begin{bmatrix} 3 & 1 \\ 0 & 3 \end{bmatrix}

이 행렬은 upper triangular matrix이다.

triangular matrix의 eigenvalues는 대각성분에서 바로 읽을 수 있다.

따라서 eigenvalues는 다음과 같다.

λ1=3,λ2=3\lambda_1=3, \quad \lambda_2=3

즉, eigenvalue 3이 두 번 반복된다.

직접 characteristic equation으로 확인해보자.

A−λI=[3−λ103−λ]A-\lambda I = \begin{bmatrix} 3-\lambda & 1 \\ 0 & 3-\lambda \end{bmatrix}

determinant는 삼각행렬이므로 대각성분의 곱이다.

det⁡(A−λI)=(3−λ)2\det(A-\lambda I) =(3-\lambda)^2

따라서,

(3−λ)2=0(3-\lambda)^2=0

이고 eigenvalue는 λ=3\lambda=3이다.

19. eigenvector가 부족한 경우

이제 λ=3\lambda=3에 대한 eigenvector를 찾자.

A−3I=[0100]A-3I = \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}

eigenvector는 다음 nullspace에 있다.

(A−3I)x=0(A-3I)x=0

즉,

[0100][x1x2]=[00]\begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

이 식은 x2=0x_2=0을 의미한다.

x1x_1은 자유롭게 선택할 수 있으므로 nullspace는 다음 한 직선이다.

null⁡(A−3I)=span⁡{[10]}\operatorname{null}(A-3I) = \operatorname{span} \left\{ \begin{bmatrix} 1 \\ 0 \end{bmatrix} \right\}

따라서 eigenvector는 한 방향밖에 없다.

x=[10]x= \begin{bmatrix} 1 \\ 0 \end{bmatrix}

문제는 이 행렬이 2×22 \times 2인데도 independent eigenvector가 하나밖에 없다는 점이다.

eigenvalue가 반복되면 eigenvector도 충분히 나올 것처럼 보일 수 있지만, 항상 그렇지는 않다.

repeated eigenvalue는 eigenvector 부족 문제를 일으킬 수 있다.

이런 행렬은 diagonalization이 잘 되지 않는 대표적인 예시이다.

단, repeated eigenvalue가 항상 나쁜 것은 아니다. 예를 들어 identity matrix는 모든 eigenvalue가 1로 반복되지만, 모든 벡터가 eigenvector이기 때문에 eigenvectors는 충분하다.

문제는 repeated eigenvalue가 있을 때 eigenvectors가 충분한지 따로 확인해야 한다는 점이다.

20. 이번 강의의 핵심 정리

이번 강의는 eigenvalue와 eigenvector의 첫 소개이다.

핵심 정의는 다음이다.

Ax=λxAx=\lambda x

여기서 xx는 0이 아닌 eigenvector이고, λ\lambda는 eigenvalue이다.

eigenvector는 행렬을 곱해도 방향이 바뀌지 않는 특별한 벡터이다.

eigenvalue는 그 방향에서 벡터가 얼마나 늘어나거나 줄어드는지를 나타내는 배율이다.

eigenvalue를 찾는 핵심 식은 다음이다.

det⁡(A−λI)=0\det(A-\lambda I)=0

이 식으로 λ\lambda를 먼저 찾고, 각 λ\lambda에 대해 다음 nullspace 문제를 풀어 eigenvector를 찾는다.

(A−λI)x=0(A-\lambda I)x=0

이번 강의에서 본 예시는 다음과 같다.

  1. projection matrix: eigenvalue는 1과 0이다.
  2. permutation matrix: eigenvalues는 1과 −1-1이다.
  3. symmetric matrix [3113]\begin{bmatrix}3&1\\1&3\end{bmatrix}: eigenvalues는 4와 2이고 eigenvectors는 perpendicular이다.
  4. A+cIA+cI: eigenvectors는 그대로이고 eigenvalues는 cc만큼 증가한다.
  5. rotation matrix: real matrix에서도 complex eigenvalues가 나올 수 있다.
  6. repeated eigenvalue: eigenvectors가 부족할 수 있다.

고유값과 고유벡터는 행렬을 이해하는 새로운 좌표계 같은 역할을 한다. 어떤 방향은 행렬을 곱해도 방향이 유지되고, 그 방향에서 행렬은 단순한 스케일링처럼 작동한다.

이 관점이 이후 diagonalization, powers of matrices, differential equations로 이어진다.