1. 강의 주제

이번 강의의 핵심 주제는 직교성(orthogonality) 이다.
직교성은 벡터끼리, 부분공간끼리, 기저끼리 정의할 수 있으며, 기본적으로 서로 90도를 이룬다는 뜻이다.

이 강의에서는 다음 내용을 다룬다.

• 두 벡터가 직교한다는 뜻
• 두 부분공간 이 직교한다는 뜻
• 행공간(row space)과 영공간(null space)의 직교 관계
• 네 개의 기본 부분공간(four fundamental subspaces)의 기하학적 구조
• 이후 최소제곱법으로 이어지기 위한 $A^T A$의 성질

---

2. 벡터의 직교

2.1 정의

두 벡터 $x, y$가 직교한다는 것은
두 벡터가 서로 수직(perpendicular) 이라는 뜻이다.

즉, $n$차원 공간에서도 두 벡터의 각이 $90^\circ$이면 직교라고 한다.

2.2 판정법

두 벡터 $x, y$가 직교할 필요충분조건은

$x^T y = 0$

이다.

여기서 $x^T y$는 점곱(dot product) 이다.
즉,

$x^T y = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n$

이다.

따라서 직교 여부는 점곱이 0인지 확인하면 된다는 것이 핵심이다.

---

3. 피타고라스 정리와 직교 조건

벡터 $x, y$가 직교하면, $x+y$를 빗변으로 하는 직각삼각형이 만들어진다.
이때 피타고라스 정리에 의해

$\|x\|^2 + \|y\|^2 = \|x+y\|^2$

가 성립한다.

여기서 벡터의 길이 제곱은

$\|x\|^2 = x^T x$

로 표현된다.

이를 이용하면,

$x^T x + y^T y = (x+y)^T(x+y)$

이고 우변을 전개하면

$(x+y)^T(x+y) = x^T x + x^T y + y^T x + y^T y$

이다.

양변에서 $x^T x$, $y^T y$를 지우면

$x^T y + y^T x = 0$

을 얻는다.

실수 벡터에서는 $x^T y = y^T x$ 이므로

$2x^T y = 0$

즉,

$x^T y = 0$

이 된다.

따라서 직각삼각형 조건과 점곱이 0이라는 조건은 서로 같은 말이다.

---

4. 벡터 길이와 예시

벡터의 길이 제곱은

$\|x\|^2 = x^T x = x_1^2 + x_2^2 + \cdots + x_n^2$

이다.

예를 들어,

$x = \begin{bmatrix}1 \\ 2 \\ 3\end{bmatrix}$

이면

$\|x\|^2 = 1^2 + 2^2 + 3^2 = 14$

이다.

즉, $x^T x$는 항상 0 이상이며,
$x=0$일 때만 0이다.

---

5. 영벡터와 직교

영벡터 $0$는 모든 벡터와 직교한다.

왜냐하면 어떤 벡터 $y$에 대해서도

$0^T y = 0$

이기 때문이다.

즉, 규칙대로 계산하면 영벡터는 누구와 점곱해도 0이므로
영벡터는 모든 벡터와 직교한다.

---

6. 부분공간의 직교

6.1 정의

부분공간 $S$와 $T$가 직교한다는 뜻은

$S$ 안의 모든 벡터가 $T$ 안의 모든 벡터와 직교한다는 뜻이다.

즉,

$S \perp T \iff \forall s \in S,\ \forall t \in T,\ s^T t = 0$

이다.

6.2 중요한 점

부분공간끼리 직교하려면 단순히 교집합이 작다고 되는 것이 아니다.
서로 만나는 벡터가 0벡터밖에 없어야 할 뿐 아니라,
모든 벡터쌍이 서로 직교해야 한다.

예를 들어, $\mathbb{R}^3$에서 두 평면이 만나면 그 교선 위의 벡터는 두 평면에 동시에 속한다.
그 벡터는 자기 자신과 직교하지 않으므로(영벡터가 아니라면)
그 두 평면은 직교 부분공간이 될 수 없다.

$S \perp T \iff \forall s \in S,\ \forall t \in T,\ s^T t = 0$

$S \perp T \Rightarrow S \cap T = \{0\}$

$v \in S \cap T,\ v \neq 0 \Rightarrow v \in S,\ v \in T$

$S \perp T \Rightarrow v^T v = 0$

$v^T v = \|v\|^2$

$v \neq 0 \Rightarrow \|v\|^2 > 0$

$\therefore\ v \neq 0 \text{ 인 } v \in S \cap T \text{ 가 존재하면 } S \perp T \text{ 는 불가능}$

$S \cap T = \{0\} \not\Rightarrow S \perp T$

$S = \operatorname{span}\{(1,0)\},\quad T = \operatorname{span}\{(1,1)\}$

$S \cap T = \{0\}$

$(1,0)^T(1,1) = 1 \neq 0$

$\therefore\ S \cap T = \{0\} \text{ 이어도 } S \perp T \text{ 는 아닐 수 있다}$

$\therefore\ S \perp T \text{ 이려면 단순히 교집합이 } \{0\} \text{ 인 것만으로는 부족하고, } \forall s \in S,\ \forall t \in T,\ s^T t = 0 \text{ 이어야 한다}$

---

7. $\mathbb{R}^2$에서의 직교 부분공간

평면 $\mathbb{R}^2$의 부분공간은 다음 셋뿐이다.

• 영공간 $\{0\}$
• 원점을 지나는 직선
• 전체 평면 $\mathbb{R}^2$

이때 직교가 가능한 대표적 경우는 다음과 같다.

• 직선과 영공간은 항상 직교이다.
• 원점을 지나는 두 직선은 서로 90도일 때 직교이다.
• 직선과 전체 평면은 직교일 수 없다.

즉, 평면에서는 우리가 익숙하게 보는
서로 수직인 두 직선이 부분공간의 직교의 대표 예시이다.

---

8. 행공간과 영공간의 직교

이 강의의 가장 중요한 내용 중 하나는 다음이다.

행공간(row space)은 영공간(null space)과 직교한다.

즉,

$\text{Row}(A) \perp \mathcal{N}(A)$

이다.

8.1 이유

$x \in \mathcal{N}(A)$ 라고 하자.
그러면 정의에 의해

$Ax = 0$

이다.

행렬 $A$의 각 행을 $r_1, r_2, \dots, r_m$이라 하면

$Ax =\begin{bmatrix}r_1 \\r_2 \\ \vdots \\r_m\end{bmatrix}x$

$=\begin{bmatrix} r_1 x \\r_2 x \\\vdots \\r_m x\end{bmatrix}$ $=0$

이다.

즉 각 행에 대해

$r_i x = 0$

가 성립한다.

여기서 $r_i x$는 사실상 행벡터와 열벡터의 점곱이므로
$x$는 모든 행벡터와 직교한다.

행공간은 행들의 모든 선형결합으로 이루어지므로,
$x$는 행공간의 임의의 벡터와도 직교한다.

따라서

$x \in \mathcal{N}(A) \Rightarrow x \perp \text{Row}(A)$

이고 결국

$\text{Row}(A) \perp \mathcal{N}(A)$

가 된다.

---

9. 열공간과 좌영공간의 직교

위의 명제를 $A^T$에 대해 똑같이 적용하면

$\text{Col}(A) \perp \mathcal{N}(A^T)$

를 얻는다.

즉, 열공간(column space)과 왼쪽 영공간(left null space)은 직교한다.

---

10. 네 개의 기본 부분공간의 구조

행렬 $A$가 $m \times n$ 행렬이고 rank가 $r$이라면,

• $\dim(\text{Row}(A)) = r$
• $\dim(\mathcal{N}(A)) = n-r$
• $\dim(\text{Col}(A)) = r$
• $\dim(\mathcal{N}(A^T)) = m-r$

이다.

그리고 직교 관계는 다음과 같다.

• $\text{Row}(A) \perp \mathcal{N}(A)$
• $\text{Col}(A) \perp \mathcal{N}(A^T)$

즉, $n$차원 공간은

$\text{Row}(A)$ 와 $\mathcal{N}(A)$

로 나뉘고, 이 둘은 서로 직교한다.

또 $m$차원 공간은

$\text{Col}(A)$ 와 $\mathcal{N}(A^T)$

로 나뉘고, 이 둘도 서로 직교한다.

이것이 선형대수의 네 기본 부분공간의 아름다운 기하학적 구조이다.

---

11. Orthogonal Complement(직교여공간)

강의에서는 단순히 “직교한다”를 넘어서
orthogonal complement라는 개념을 강조한다.

예를 들어 null space는 row space에 수직인 벡터 몇 개만 모아둔 것이 아니라,

row space에 수직인 모든 벡터 전체

를 담고 있다.

즉,

$\mathcal{N}(A) = \text{Row}(A)^\perp$

이다.

마찬가지로

$\mathcal{N}(A^T) = \text{Col}(A)^\perp$

이다.

여기서 $\perp$는 “직교여공간”을 뜻한다.

즉, 서로 직교할 뿐 아니라 차원까지 정확히 맞아서
공간 전체를 빈틈없이 채운다는 점이 중요하다.

---

12. 예시: rank 1인 경우의 기하학

$\mathbb{R}^3$에서 행공간이 1차원이라고 하자.
예를 들어 행렬이 사실상 하나의 독립적인 행만 가지면, 행공간은 한 직선이 된다.

이때 $n=3$, $r=1$ 이므로

$\dim(\mathcal{N}(A)) = 3-1 = 2$

이다.

즉, 영공간은 평면이다.

그리고 그 평면은 행공간의 방향벡터에 수직인 평면이다.

예를 들어 방정식

$x_1 + 2x_2 + 5x_3 = 0$

은 $\mathbb{R}^3$에서 하나의 평면을 나타낸다.
이 평면의 법선벡터(normal vector)는

$\begin{bmatrix}1 \\ 2 \\ 5\end{bmatrix}$

이다.

즉, 이 벡터가 row space의 방향을 나타내고,
그에 수직인 모든 벡터들이 null space를 이룬다.

---

13. 이 강의의 큰 의미

이 강의는 네 기본 부분공간에 대해 단순히 차원만 아는 단계에서 한 걸음 더 나아간다.

이전까지는

• 각 부분공간이 무엇인지
• 차원이 몇인지
• 기저를 어떻게 구하는지

를 배웠다면,

이번에는

• 그 부분공간들이 서로 어떻게 놓여 있는지
• 즉, 서로 수직인지
• 공간을 어떻게 직교 분해하는지

를 이해하게 된다.

즉, 이번 강의는 선형대수의 기하학을 훨씬 더 깊게 보여주는 장이다.

---

14. 다음 주제로의 연결: 해가 없는 $Ax=b$

강의 후반부에서는 다음 문제를 제시한다.

해가 없는 연립방정식 $Ax=b$를 어떻게 “가장 잘” 풀 것인가?

즉,

$b\notin \text{Col}(A)$

라면 정확한 해는 존재하지 않는다.

이 상황은 실제 응용에서 매우 흔하다.
예를 들어 측정 데이터가 많고 잡음(noise)이 섞여 있으면,
방정식은 보통 정확히 맞지 않는다.

예시는 다음과 같다.

• 위성 위치 측정을 여러 번 한 경우
• 저항값, 맥박수 등을 반복 측정한 경우
• 설문, 통계, 실험 데이터가 많은 경우

이때 식은 많고 미지수는 적으며,
오른쪽 항 $b$에는 측정오차가 들어 있다.

따라서 목표는 정확한 해가 아니라
가장 좋은 근사해(best solution) 를 찾는 것이다.

---

15. 핵심 행렬 $A^T A$

이 문제를 해결하는 중심 행렬은

$A^T A$

이다.

15.1 기본 성질

$A$가 $m \times n$ 행렬이면

• $A^T$는 $n \times m$ 행렬
• 따라서 $A^T A$는 $n \times n$ 행렬

이다.

즉, $A^T A$는 정사각행렬이다.

또한,

$(A^T A)^T = A^T (A^T)^T = A^T A$

이므로
$A^T A$는 대칭행렬(symmetric matrix) 이다.

---

16. Normal Equation(정규방정식)

정확한 해 $Ax=b$가 없을 때, 가장 좋은 근사해 $\hat{x}$는 보통 다음 식을 만족한다.

$A^T A \hat{x} = A^T b$

이 식을 정규방정식(normal equation) 이라고 한다.

이 식이 이후 최소제곱법의 중심이 된다.

즉, 원래는 풀 수 없던 $Ax=b$ 대신
새로운 정사각 시스템

$A^T A \hat{x} = A^T b$

를 푸는 방향으로 간다.

---

17. $A^T A$의 가역성

중요한 사실은 다음이다.

$\mathcal{N}(A^T A) = \mathcal{N}(A)$

즉, $A^T A$의 영공간은 $A$의 영공간과 같다.

따라서 rank도 같아진다.

$\text{rank}(A^T A) = \text{rank}(A)$

그러므로

$A^T A$가 가역(invertible)일 필요충분조건은
$A$의 열들이 선형독립인 것이다.

즉,

$A^T A$ is invertible $\iff$ columns of $A$ are independent

이다.

이를 한국어로 쓰면,

$A^T A$는 $A$의 열벡터들이 선형독립일 때에만, 그리고 그때에 한해 가역이다.

---

18. 왜 이것이 중요한가

정규방정식

$A^T A \hat{x} = A^T b$

를 풀려면 $A^T A$가 가역이면 매우 편하다.

그때는

$\hat{x} = (A^T A)^{-1}A^T b$

로 쓸 수 있다.

따라서 최소제곱해를 구하려면
$A^T A$의 성질, 특히

• 대칭성
• 정사각형 구조
• null space
• invertibility

를 이해하는 것이 필수적이다.

---

19. 핵심 정리 요약

19.1 벡터의 직교

두 벡터 $x, y$가 직교할 필요충분조건은

$x^T y = 0$

이다.

---

19.2 길이 제곱

벡터의 길이 제곱은

$\|x\|^2 = x^T x$

이다.

---

19.3 부분공간의 직교

두 부분공간 $S, T$가 직교한다는 것은

모든 $s \in S$, 모든 $t \in T$에 대해

$s^T t = 0$

이라는 뜻이다.

---

19.4 네 기본 부분공간의 직교 관계

• $\text{Row}(A) \perp \mathcal{N}(A)$
• $\text{Col}(A) \perp \mathcal{N}(A^T)$

이다.

---

19.5 직교여공간

• $\mathcal{N}(A) = \text{Row}(A)^\perp$
• $\mathcal{N}(A^T) = \text{Col}(A)^\perp$

이다.

---

19.6 차원 관계

• $\dim(\text{Row}(A)) = r$
• $\dim(\mathcal{N}(A)) = n-r$
• $\dim(\text{Col}(A)) = r$
• $\dim(\mathcal{N}(A^T)) = m-r$

이다.

---

19.7 정규방정식

정확한 해가 없는 $Ax=b$에 대해, 좋은 근사해 $\hat{x}$는

$A^T A \hat{x} = A^T b$

를 만족한다.

---

19.8 $A^T A$의 가역 조건

$A^T A$가 가역일 필요충분조건은
$A$의 열들이 선형독립인 것이다.

즉,

$A^T A$ is invertible $\iff$ columns of $A$ are independent

이다.

---

20. 정리

이번 강의의 핵심은 다음과 같다.

선형대수의 네 기본 부분공간은 단순히 차원만 맞는 것이 아니라, 서로 정확히 직교하는 구조를 가지며, 이 직교성이 이후 최소제곱법과 정규방정식 $A^T A\hat{x}=A^T b$의 출발점이 된다.