3.5. The Four Fundamental Subspaces

1. 4대 부분공간의 정의와 차원 (The Big Picture)

m×nm \times n 행렬 AA는 입력 공간 Rn\mathbb{R}^n과 출력 공간 Rm\mathbb{R}^m 내에 4개의 핵심적인 부분공간(Subspace)을 정의한다.
이를 이해하는 것이 선형대수학의 기본 정리(Fundamental Theorem of Linear Algebra)의 핵심이다.

  • 열공간과 좌영공간이 서로 직교
    • 열공간의 벡터(A의 한 열)과 좌영공간의 벡터 yN(AT)y \in N(A^T) 의 직교: ATy=0A^Ty=0
    • 열공간이므로, ATA^T 로 표기. (ATA^T 의 한 행 = AA 의 한 열)
Rm=C(A)N(AT)\mathbb{R}^m = C(A) \oplus N(A^T)
  • 행공간과 영공간이 서로 직교
    • 행공간의 한 벡터(행)는 Ax=0Ax=0의 해와 내적이 0
Rn=C(AT)N(A)\mathbb{R}^n = C(A^T) \oplus N(A)

1) 열공간 (Column Space, C(A)C(A))

  • 정의: 행렬 AA의 열벡터들의 선형 결합(Linear Combination)으로 생성되는 공간.

  • 위치: Rm\mathbb{R}^m의 부분공간.

  • 차원: rr (랭크, Rank).

  • 의미: Ax=bAx=b가 해를 가질 수 있는 bb의 집합.

2) 영공간 (Null Space, N(A)N(A))

  • 정의: Ax=0Ax=0을 만족하는 모든 해 xx의 집합.

  • 위치: Rn\mathbb{R}^n의 부분공간.

  • 차원: nrn - r (변수의 개수 - 랭크).

  • 의미: Ax=0Ax=0의 해공간. 행공간과 수직(Orthogonal)이다.

3) 행공간 (Row Space, C(AT)C(A^T))

  • 정의: 행렬 AA의 행벡터들의 선형 결합으로 생성되는 공간. 벡터 표기의 통일성을 위해 ATA^T의 열공간으로 취급한다.

  • 위치: Rn\mathbb{R}^n의 부분공간.

  • 차원: rr (랭크).

  • 핵심 성질: 행공간의 차원과 열공간의 차원은 항상 같다 (Row Rank = Column Rank).

4) 좌영공간 (Left Null Space, N(AT)N(A^T))

  • 정의: ATy=0A^T y = 0을 만족하는 모든 yy의 집합.

    • 식을 전치하면 yTA=0Ty^T A = 0^T가 되며, 벡터 yyAA의 왼쪽(Left)에서 곱해지므로 ‘좌영공간’이라 부른다.
  • 위치: Rm\mathbb{R}^m의 부분공간.

  • 차원: mrm - r (행의 개수 - 랭크).

  • 의미: 열공간과 수직(Orthogonal)이다.


2. 각 공간의 기저(Basis) 구하는 법

행렬 AA를 가우스 소거법을 통해 기약 행사다리꼴(RREF) RR로 만들면, 4대 공간의 기저를 명확히 찾을 수 있다.

AGauss-JordanRA \xrightarrow{\text{Gauss-Jordan}} R

1) 행공간 C(AT)C(A^T)의 기저

  • 방법: RR0이 아닌 행(Nonzero rows)들을 선택한다.

  • 이유: 기본 행 연산(Row operation)은 행들의 선형 결합이므로, AA의 행공간을 보존한다. 즉, C(AT)=C(RT)C(A^T) = C(R^T)이다. RR의 행들은 가장 간단하고 독립적인 형태이다.

2) 열공간 C(A)C(A)의 기저

  • 방법: AA의 피벗 열(Pivot columns)들을 선택한다.

  • 주의: RR의 피벗 열을 선택하면 안 된다. C(A)C(R)C(A) \neq C(R)이기 때문이다. RR에서 피벗이 있는 열의 인덱스(위치) 를 확인하고, 반드시 원래 행렬 AA 의 해당 열을 가져와야 한다.

3) 영공간 N(A)N(A)의 기저

  • 방법: Ax=0Ax=0 (혹은 Rx=0Rx=0)의 특수 해(Special solutions)들을 선택한다.

  • 과정: nrn-r개의 자유 변수(Free variable)에 대해, 하나는 1, 나머지는 0을 순차적으로 대입하여 구한다.

4) 좌영공간 N(AT)N(A^T)의 기저

  • 방법: 가우스-조르단 소거법을 확장하여 찾는다.

    [A  I]Elimination[R  E][A \ | \ I] \xrightarrow{\text{Elimination}} [R \ | \ E]

    • 여기서 EEAARR로 만드는 기록 행렬이다 (EA=REA=R).

    • RR의 아래쪽 mrm-r개 행은 모두 0이다 (Zero rows).

    • 즉, EE의 아래쪽 행들이 AA와 곱해져서 0을 만든 것이다.

  • 결론: EE의 마지막 mrm-r개의 행이 좌영공간의 기저이다.


3. 주요 예시 및 응용

예시 1: 랭크-1 행렬 (Rank One Matrices)

모든 랭크 1 행렬은 하나의 열 벡터 uu와 하나의 행 벡터 vTv^T의 곱으로 표현된다.

A=uvT=[u1um][v1vn]A = uv^T = \begin{bmatrix} u_1 \\ \vdots \\ u_m \end{bmatrix} \begin{bmatrix} v_1 & \dots & v_n \end{bmatrix}

  • 행공간: vv 벡터 1개가 기저가 된다. (차원 = 1)

  • 열공간: uu 벡터 1개가 기저가 된다. (차원 = 1)

  • 의미: 행렬의 모든 행은 vTv^T의 배수이며, 모든 열은 uu의 배수이다.

예시 2: 그래프와 접속 행렬 (Incidence Matrix)

그래프 이론에서 노드(Node)와 엣지(Edge)의 관계를 나타내는 행렬 AA는 4대 부분공간의 물리적 의미를 잘 보여준다.

  • 행(mm): 엣지(Edge)의 개수

  • 열(nn): 노드(Node)의 개수

  • 성분: 엣지가 노드 ii에서 jj로 연결되면, 해당 행의 ii열은 -1, jj열은 +1.

(1) 영공간 (Ax=0Ax=0)의 물리적 의미: 등전위

  • Ax=0Ax=0은 각 엣지 양 끝의 차이가 0이라는 의미 (xjxi=0x_j - x_i = 0).

  • 이는 모든 노드의 **전위(Potential)**가 동일함을 뜻한다 (x1=x2==cx_1 = x_2 = \dots = c).

  • 연결된 그래프라면 영공간의 차원은 1이다 (상수 벡터 c[1,1,,1]Tc[1, 1, \dots, 1]^T).

(2) 좌영공간 (ATy=0A^T y = 0)의 물리적 의미: 키르히호프 전류 법칙 (KCL)

  • ATy=0A^T y = 0은 각 노드에서 들어오고 나가는 값의 합이 0이라는 의미.

  • 이는 회로 이론의 **키르히호프 전류 법칙(KCL)**과 같다. (유입 전류 = 유출 전류).

  • 좌영공간의 기저는 그래프 내의 **독립적인 루프(Loop)**를 따라 흐르는 순환 전류가 된다.

  • 차원: mr=Edges(Nodes1)=Loopsm - r = \text{Edges} - (\text{Nodes} - 1) = \text{Loops} (오일러의 공식과 연결됨).


4. 벡터 공간의 확장 (New Vector Spaces)

벡터 공간은 Rn\mathbb{R}^n에 국한되지 않으며, 벡터의 정의(덧셈과 스칼라배에 닫혀있음)를 만족하는 모든 집합으로 확장될 수 있다.

  • 행렬 공간 (Matrix Space, MM): 모든 3×33 \times 3 행렬의 집합도 벡터 공간이다.

    • 차원: 3×3=93 \times 3 = 9.
  • 부분공간 (Subspaces of MM):

    • 상삼각행렬 (Upper Triangular): 대각선 아래가 0인 행렬. (차원 6)

    • 대칭행렬 (Symmetric): AT=AA^T = A인 행렬. (차원 6)

    • 대각행렬 (Diagonal): 상삼각행렬 \cap 대칭행렬. (차원 3)

  • 이러한 공간들에서도 기저(Basis)와 차원(Dimension)의 개념은 동일하게 적용된다.