연결 강의: MIT 18.06 Linear Algebra - Lecture 28: Similar Matrices and Jordan Form

1. 이번 강의의 위치

이번 강의의 핵심 주제는 similar matrices이다.

similar matrix는 같은 선형변환을 서로 다른 basis에서 표현한 행렬이라고 볼 수 있다. 그래서 diagonalization도 사실 similar matrix의 특별한 경우이다.

이 강의는 두 흐름을 이어 준다.

1. 앞부분에서는 positive definite matrix가 어디서 나오는지 조금 더 보충한다.
2. 본론에서는 similar matrix의 정의와 Jordan form을 다룬다.

특히 Jordan form은 diagonalization이 실패하는 경우를 다루기 위한 확장된 형태이다.

---

2. Positive Definite Matrix 보충

positive definite matrix는 대칭행렬 $A$에 대해 다음 조건을 만족하는 행렬이다.

$$x^T A x>0 \qquad (x\neq 0)$$

이를 판별하는 방법은 여러 가지이다.

1. 모든 eigenvalue가 양수이다.
2. 모든 pivot이 양수이다.
3. 모든 leading principal minor가 양수이다.
4. 모든 $x\neq 0$에 대해 $x^TAx>0$이다.

이전 강의에서는 이 네 관점이 서로 연결된다는 것을 봤다. 이번 강의 앞부분에서는 positive definite matrix의 성질 몇 가지를 더 확인한다.

---

3. Positive Definite Matrix의 역행렬

$A$가 positive definite라고 하자.

그러면 $A$는 대칭행렬이고, 모든 고유값이 양수이다.

$$\lambda_i>0 \qquad (i=1,\dots,n)$$

$A^{-1}$의 고유값은 $A$의 고유값의 역수이다.

$$A x=\lambda x$$

이면 양변에 $A^{-1}$을 곱해서 다음을 얻는다.

$$A^{-1}x=\frac{1}{\lambda}x$$

따라서 $A^{-1}$의 고유값은 다음이다.

$$\frac{1}{\lambda_i}$$

$\lambda_i$가 모두 양수이면 $\frac{1}{\lambda_i}$도 모두 양수이다.

또 $A$가 대칭행렬이면 $A^{-1}$도 대칭행렬이다.

$$(A^{-1})^T=(A^T)^{-1}=A^{-1}$$

따라서 $A^{-1}$도 positive definite이다.

---

4. Positive Definite Matrix의 합

$A$와 $B$가 모두 positive definite라고 하자.

그러면 모든 $x\neq 0$에 대해 다음이 성립한다.

$$x^TAx>0$$ $$x^TBx>0$$

이제 $A+B$에 대해 보자.

$$x^T(A+B)x = x^TAx+x^TBx$$

오른쪽 두 항이 모두 양수이므로,

$$x^T(A+B)x>0$$

이다.

따라서 $A+B$도 positive definite이다.

이 성질은 eigenvalue 관점에서는 바로 보이지 않는다. 일반적으로 $A+B$의 고유값은 $A$의 고유값과 $B$의 고유값을 단순히 더한 것이 아니기 때문이다.

하지만 quadratic form 관점에서는 아주 간단하게 보인다.

---

5. Least Squares에서 나오는 $A^TA$

positive definite matrix는 least squares에서도 자연스럽게 등장한다.

least squares에서 핵심 행렬은 다음이었다.

$$A^TA$$

여기서 $A$는 보통 직사각행렬이다.

$$A \in \mathbb{R}^{m\times n}$$

직사각행렬 $A$ 자체는 positive definite일 수 없다. positive definite matrix는 정사각 대칭행렬이어야 하기 때문이다.

하지만 $A^TA$는 정사각행렬이다.

$$A^TA \in \mathbb{R}^{n\times n}$$

또 대칭행렬이다.

$$(A^TA)^T=A^TA$$

이제 $A^TA$가 positive definite인지 보자.

positive definite인지 확인하려면 다음 quadratic form을 보면 된다.

$$x^T(A^TA)x$$

괄호를 잘 묶으면,

$$x^T A^T A x = (Ax)^T(Ax)$$

이다.

따라서,

$$x^T A^T A x = \|Ax\|^2$$

이다.

길이의 제곱은 항상 0 이상이다.

$$\|Ax\|^2\geq 0$$

그러므로 $A^TA$는 항상 positive semidefinite이다.

---

6. $A^TA$가 Positive Definite가 되는 조건

$A^TA$가 positive definite가 되려면 다음이 필요하다.

$$x^T A^T A x>0 \qquad (x\neq 0)$$

그런데,

$$x^T A^T A x=\|Ax\|^2$$

이므로, 이 값이 0이 되는 경우는 $Ax=0$인 경우뿐이다.

따라서 $A^TA$가 positive definite가 되려면 $Ax=0$의 해가 0벡터뿐이어야 한다.

즉 $A$의 null space가 없어야 한다.

$$N(A)=\{0\}$$

이는 $A$의 열벡터들이 독립이라는 뜻이다.

$$\operatorname{rank}(A)=n$$

따라서 결론은 다음이다.

$$A^TA \text{ is positive definite} \quad \Longleftrightarrow \quad A \text{ has independent columns}$$

least squares에서 normal equation

$$A^TA\hat{x}=A^Tb$$

가 잘 풀리려면 $A^TA$가 invertible이어야 한다. 이것은 $A$의 열벡터들이 독립이어야 한다는 조건과 같다.

positive definite matrix는 수치적으로도 좋은 행렬이다. pivot이 양수로 잘 나오므로 row exchange 없이 안정적으로 elimination을 진행할 수 있다.

---

7. Similar Matrix의 정의

이제 본론인 similar matrix로 넘어간다.

두 정사각행렬 $A$, $B$가 있다고 하자. 두 행렬은 모두 $n\times n$ 행렬이다.

$A$와 $B$가 similar하다는 것은 어떤 가역행렬 $M$이 존재해서 다음이 성립한다는 뜻이다.

$$B=M^{-1}AM$$

이때 $M$은 invertible matrix여야 한다.

이 식은 단순히 임의로 만든 형태가 아니다. 이미 diagonalization에서 본 식이다.

행렬 $A$가 대각화 가능하면,

$$A=S\Lambda S^{-1}$$

이고, 이를 바꿔 쓰면,

$$\Lambda=S^{-1}AS$$

이다.

즉 $A$는 diagonal matrix $\Lambda$와 similar하다.

diagonalization은 similar matrix의 가장 좋은 경우이다. 같은 family 안에서 가장 단순한 대표가 diagonal matrix인 것이다.

---

8. Similar Matrix의 직관

similar matrix는 같은 선형변환을 다른 coordinate system, 다른 basis에서 본 표현이다.

행렬 $M$은 basis를 바꾸는 역할을 한다.

$$B=M^{-1}AM$$

이 식은 다음 순서로 볼 수 있다.

1. $M$으로 좌표를 기존 basis에서 원래 공간으로 보낸다.
2. $A$를 적용한다.
3. $M^{-1}$으로 다시 새 basis의 좌표로 되돌린다.

따라서 $A$와 $B$는 겉모습은 다르지만, 본질적으로 같은 선형변환을 나타낸다.

이 때문에 $A$와 $B$는 중요한 성질을 공유한다.

가장 중요한 공유 성질은 eigenvalue이다.

---

9. Similar Matrix의 핵심 성질

similar matrix는 같은 eigenvalue를 가진다.

$$B=M^{-1}AM \quad \Longrightarrow \quad A \text{ and } B \text{ have the same eigenvalues}$$

이를 직접 확인해 보자.

$A$의 고유값과 고유벡터가 다음을 만족한다고 하자.

$$Ax=\lambda x$$

$B=M^{-1}AM$이라고 하자.

이때 $y=M^{-1}x$라고 두면, $x=My$이다.

고유값 방정식에 $x=My$를 넣으면,

$$A(My)=\lambda (My)$$

양변에 $M^{-1}$을 곱하면,

$$M^{-1}AMy=\lambda y$$

즉,

$$By=\lambda y$$

이다.

따라서 $\lambda$는 $B$의 고유값이기도 하다.

고유벡터는 그대로 유지되지 않는다. $A$의 고유벡터가 $x$이면, $B$의 고유벡터는 다음이다.

$$y=M^{-1}x$$

즉 similar matrix는 eigenvalue는 같지만 eigenvector는 basis 변화에 따라 달라진다.

---

10. 예시: Diagonal Matrix와 Similar Matrix

다음 행렬을 생각하자.

$$A= \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}$$

이 행렬의 고유값은 다음이다.

$$\lambda_1=3, \qquad \lambda_2=1$$

따라서 $A$는 다음 diagonal matrix와 similar하다.

$$\Lambda= \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix}$$

즉 어떤 eigenvector matrix $S$에 대해,

$$\Lambda=S^{-1}AS$$

가 된다.

이것이 diagonalization이다.

그런데 $A$와 similar한 행렬은 $\Lambda$만 있는 것이 아니다. 임의의 invertible matrix $M$을 잡으면,

$$B=M^{-1}AM$$

도 $A$와 similar하다.

예를 들어,

$$M= \begin{bmatrix} 1 & 4 \\ 0 & 1 \end{bmatrix}$$

이면,

$$M^{-1}= \begin{bmatrix} 1 & -4 \\ 0 & 1 \end{bmatrix}$$

이다.

그러면,

$$B=M^{-1}AM$$

은 다음과 같다.

$$B= \begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix}$$

겉으로 보면 $A$와 매우 다르게 생겼지만, $B$의 고유값도 $3$과 $1$이다.

trace를 확인하면,

$$\operatorname{tr}(B)=-2+6=4$$

이고,

$$3+1=4$$

이다.

determinant도 확인하면,

$$\det B=(-2)(6)-(-15)(1)=3$$

이고,

$$3\cdot 1=3$$

이다.

trace와 determinant가 고유값의 합과 곱을 반영한다는 점에서도 같은 eigenvalue를 가진다는 사실을 확인할 수 있다.

---

11. Similar Matrix는 하나의 Family를 이룬다

similar matrix들은 하나의 family를 이룬다.

예를 들어 고유값이 $3$, $1$인 모든 $2\times 2$ 행렬은 서로 similar하다.

대표적인 행렬은 diagonal matrix이다.

$$\begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix}$$

하지만 다음과 같은 행렬들도 같은 family에 속한다.

$$\begin{bmatrix} 3 & 7 \\ 0 & 1 \end{bmatrix}$$ $$\begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix}$$

이들은 모두 고유값 $3$, $1$을 가진다.

고유값이 서로 다른 경우에는 대각화가 가능하므로, family의 가장 좋은 대표는 diagonal matrix이다.

---

12. 반복 고유값이 있을 때의 문제

문제는 eigenvalue가 반복될 때 생긴다.

예를 들어 고유값이 둘 다 $4$인 $2\times 2$ 행렬을 생각하자.

가장 단순한 행렬은 다음이다.

$$4I= \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix}$$

이 행렬은 혼자만의 family를 이룬다.

왜냐하면 어떤 invertible matrix $M$에 대해서도,

$$M^{-1}(4I)M = 4M^{-1}IM = 4I$$

이기 때문이다.

즉 $4I$와 similar한 행렬은 $4I$ 자기 자신뿐이다.

하지만 고유값이 $4$, $4$인 행렬이 모두 $4I$와 similar한 것은 아니다.

예를 들어 다음 행렬을 보자.

$$J= \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix}$$

이 행렬의 고유값은 둘 다 $4$이다.

하지만 $J$는 $4I$와 similar하지 않다.

이유는 eigenvector의 개수가 다르기 때문이다.

$4I$는 모든 벡터가 고유벡터이므로 독립인 고유벡터가 2개 있다.

반면 $J$는 독립인 고유벡터가 1개뿐이다.

---

13. Jordan Block

다음 행렬을 Jordan block이라고 한다.

$$J_\lambda= \begin{bmatrix} \lambda & 1 & 0 & \cdots & 0 \\ 0 & \lambda & 1 & \cdots & 0 \\ 0 & 0 & \lambda & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & 1 \\ 0 & 0 & 0 & \cdots & \lambda \end{bmatrix}$$

대각선에는 같은 고유값 $\lambda$가 반복되고, 바로 위 대각선에는 1이 들어간다.

Jordan block 하나는 고유벡터를 하나만 가진다.

예를 들어,

$$\begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix}$$

은 고유값 $4$를 두 번 가지지만, 독립인 고유벡터는 하나뿐이다.

즉 diagonalization이 불가능하다.

Jordan form은 이런 diagonalization 실패 상황에서 diagonal matrix에 최대한 가까운 형태를 잡아 주는 방법이다.

---

14. 같은 고유값을 가진 다른 행렬들

다음 행렬들도 고유값이 $4$, $4$이다.

$$\begin{bmatrix} 5 & -1 \\ 1 & 3 \end{bmatrix}$$

trace는 다음이다.

$$5+3=8$$

고유값의 합도 다음이다.

$$4+4=8$$

determinant는 다음이다.

$$5\cdot 3-(-1)\cdot 1=16$$

고유값의 곱도 다음이다.

$$4\cdot 4=16$$

또 다음 행렬도 고유값이 $4$, $4$이다.

$$\begin{bmatrix} 4 & 17 \\ 0 & 4 \end{bmatrix}$$

이 행렬은 대각성분이 모두 $4$인 triangular matrix이므로 고유값은 바로 $4$, $4$이다.

이런 행렬들은 $4I$와는 similar하지 않지만, Jordan block

$$\begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix}$$

과는 similar하다.

즉 고유값이 같다고 해서 항상 같은 family인 것은 아니다. 반복 고유값이 있을 때는 eigenvector 구조까지 봐야 한다.

---

15. Jordan Form의 필요성

고유값이 모두 다르면 행렬은 보통 대각화 가능하다.

$$A=S\Lambda S^{-1}$$

이 경우에는 diagonal matrix $\Lambda$가 similar family의 가장 좋은 대표이다.

하지만 고유값이 반복되면 대각화가 실패할 수 있다.

그때 diagonal matrix 대신 Jordan matrix를 사용한다.

Jordan form은 가능한 한 diagonal matrix에 가까운 형태이다.

복소수까지 허용하면 모든 정사각행렬은 어떤 Jordan matrix와 similar하다.

$$A=MJM^{-1}$$

또는,

$$J=M^{-1}AM$$

이다.

여기서 $J$는 Jordan blocks를 대각선 방향으로 모아 놓은 block diagonal matrix이다.

$$J= \begin{bmatrix} J_1 & 0 & \cdots & 0 \\ 0 & J_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & J_d \end{bmatrix}$$

각 $J_i$는 하나의 Jordan block이다.

---

16. Jordan Block과 고유벡터 개수

Jordan form에서 block의 개수는 독립인 eigenvector의 개수와 연결된다.

Jordan block 하나는 eigenvector를 하나 만든다.

따라서 Jordan blocks의 개수는 독립인 eigenvector의 개수이다.

예를 들어 $4\times 4$ 행렬에서 고유값이 모두 0이라고 하자.

다음 행렬을 보자.

$$N_1= \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \end{bmatrix}$$

이 행렬은 두 개의 $2\times 2$ Jordan block을 가진 형태이다.

$$2+2$$

rank는 2이고, nullity도 2이다. 따라서 독립인 고유벡터는 2개이다.

이번에는 다음 행렬을 보자.

$$N_2= \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}$$

이 행렬은 $3\times 3$ Jordan block 하나와 $1\times 1$ Jordan block 하나를 가진 형태이다.

$$3+1$$

이 행렬도 rank는 2이고 nullity는 2이다. 따라서 독립인 고유벡터 수만 보면 $N_1$과 같다.

하지만 두 행렬은 similar하지 않다.

왜냐하면 Jordan block의 크기 구조가 다르기 때문이다.

즉 repeated eigenvalue 상황에서는 단순히 고유값과 고유벡터 개수만으로는 similar family를 완전히 구분할 수 없다. Jordan block structure까지 봐야 한다.

---

17. Similar Matrix에서 보존되는 것

similar matrix는 다음 성질을 보존한다.

1. eigenvalue
2. characteristic polynomial
3. determinant
4. trace
5. rank of $A-\lambda I$
6. 각 고유값에 대한 eigenspace dimension
7. Jordan block structure

특히 determinant와 trace가 보존되는 이유는 eigenvalue가 보존되기 때문이다.

또 직접 계산으로도 볼 수 있다.

determinant는 다음과 같다.

$$\det(M^{-1}AM) = \det(M^{-1})\det(A)\det(M) = \det(A)$$

trace도 similar transformation에서 보존된다.

$$\operatorname{tr}(M^{-1}AM)=\operatorname{tr}(A)$$

따라서 similar matrix는 겉모습은 달라도 같은 핵심 구조를 가진다.

---

18. Jordan Form의 의미와 한계

Jordan form은 대각화가 실패하는 경우까지 포함해서 모든 정사각행렬을 정리하려는 시도이다.

고유값이 모두 다르면 Jordan form은 그냥 diagonal matrix이다.

$$J=\Lambda$$

하지만 고유값이 반복되고 고유벡터가 부족하면 Jordan block이 등장한다.

$$\begin{bmatrix} \lambda & 1 \\ 0 & \lambda \end{bmatrix}$$

이 1은 부족한 고유벡터를 표시하는 자리라고 볼 수 있다.

다만 Jordan form은 수치계산에서는 조심해야 한다.

고유값이 정확히 반복되는지, rank가 정확히 얼마인지에 매우 민감하기 때문이다. 작은 오차만 있어도 Jordan block structure가 바뀔 수 있다.

그래서 현대 선형대수의 계산 관점에서는 Jordan form보다 SVD 같은 분해가 훨씬 안정적이고 중요하게 쓰인다.

이 강의 마지막에서 다음 강의 주제로 SVD가 강조되는 이유도 여기에 있다.

---

19. 핵심 정리

similar matrix는 다음 관계를 만족하는 행렬이다.

$$B=M^{-1}AM$$

이는 같은 선형변환을 다른 basis에서 표현한 것이다.

diagonalization은 similar matrix의 특별한 경우이다.

$$\Lambda=S^{-1}AS$$

similar matrix는 같은 eigenvalue를 가진다.

고유값이 모두 다르면 행렬은 대각화 가능하고, similar family의 가장 좋은 대표는 diagonal matrix이다.

하지만 고유값이 반복되면 대각화가 실패할 수 있다.

그때 Jordan form이 등장한다.

Jordan form은 diagonal matrix에 최대한 가까운 표준형이다.

$$J= \begin{bmatrix} J_1 & 0 & \cdots & 0 \\ 0 & J_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & J_d \end{bmatrix}$$

각 Jordan block은 다음 형태이다.

$$J_i= \begin{bmatrix} \lambda_i & 1 & 0 & \cdots & 0 \\ 0 & \lambda_i & 1 & \cdots & 0 \\ 0 & 0 & \lambda_i & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & 1 \\ 0 & 0 & 0 & \cdots & \lambda_i \end{bmatrix}$$

결국 이 강의의 흐름은 다음이다.

1. positive definite matrix는 inverse, sum, $A^TA$에서도 자연스럽게 나타난다.
2. similar matrix는 basis change로 연결된 행렬이다.
3. similar matrix는 같은 eigenvalue를 가진다.
4. diagonalization은 similar matrix의 좋은 경우이다.
5. repeated eigenvalue에서 diagonalization이 실패하면 Jordan form이 필요하다.
6. Jordan form은 이론적으로 중요하지만, 실제 수치계산에서는 민감하므로 SVD가 더 안정적으로 쓰인다.