1.1. Row Picture and Column Picture

선형대수학 글 목록

연결 강의: MIT 18.06 Linear Algebra - Lecture 1: The geometry of linear equations

선형대수학의 기본 문제

선형대수학에서 가장 기본이 되는 문제는 선형방정식의 해를 구하는 것이다.

예를 들어 미지수가 xx, yy인 두 개의 선형방정식이 있다고 하자.

{2x−y=0−x+2y=3\begin{cases} 2x - y = 0 \\ -x + 2y = 3 \end{cases}

이 문제는 두 방정식을 동시에 만족하는 xx, yy를 찾는 문제이다.

선형대수학에서는 이런 문제를 다음과 같은 행렬 방정식으로 표현한다.

Ax=bA\mathbf{x} = \mathbf{b}

여기서 AA는 계수행렬이고, x\mathbf{x}는 미지수 벡터이며, b\mathbf{b}는 우변 벡터이다.

이 강의의 첫 목표는 Ax=bA\mathbf{x} = \mathbf{b}를 단순한 계산식으로만 보는 것이 아니라, 세 가지 관점에서 이해하는 것이다.

  1. 행 관점(Row picture)
  2. 열 관점(Column picture)
  3. 행렬 관점(Matrix form)

이 세 관점은 같은 방정식을 서로 다른 방식으로 바라보는 방법이다. 특히 열 관점은 선형대수학 전체에서 계속 반복되는 핵심 관점이다.

첫 번째 예제: 두 방정식과 두 미지수

다음 연립방정식을 보자.

{2x−y=0−x+2y=3\begin{cases} 2x - y = 0 \\ -x + 2y = 3 \end{cases}

이 연립방정식의 계수행렬은 다음과 같다.

A=[2−1−12]A = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix}

미지수 벡터와 우변 벡터는 다음과 같다.

x=[xy],b=[03]\mathbf{x} = \begin{bmatrix} x \\ y \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}

따라서 연립방정식 전체는 다음과 같이 쓸 수 있다.

[2−1−12][xy]=[03]\begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}

이것이 행렬 방정식 Ax=bA\mathbf{x} = \mathbf{b}이다.

행 관점: 방정식 하나를 직선 하나로 보기

행 관점은 방정식을 한 줄씩 보는 방식이다.

첫 번째 방정식은 다음과 같다.

2x−y=02x - y = 0

이 식을 만족하는 모든 점 (x,y)(x, y)를 좌표평면에 그리면 하나의 직선이 된다.

예를 들어 (0,0)(0, 0)은 이 방정식을 만족한다.

2⋅0−0=02 \cdot 0 - 0 = 0

또 (1,2)(1, 2)도 이 방정식을 만족한다.

2⋅1−2=02 \cdot 1 - 2 = 0

따라서 첫 번째 방정식은 원점을 지나고 (1,2)(1, 2)를 지나는 직선이다.

두 번째 방정식은 다음과 같다.

−x+2y=3-x + 2y = 3

이 식은 원점을 지나지 않는다. x=0x = 0, y=0y = 0을 대입하면 좌변은 00인데 우변은 33이기 때문이다.

예를 들어 y=0y = 0이면 다음과 같다.

−x=3-x = 3

따라서 x=−3x = -3이고, (−3,0)(-3, 0)은 두 번째 직선 위의 점이다.

또 x=−1x = -1, y=1y = 1이면 다음과 같다.

−(−1)+2⋅1=3-(-1) + 2 \cdot 1 = 3

따라서 (−1,1)(-1, 1)도 두 번째 직선 위의 점이다.

두 방정식을 동시에 만족하는 해는 두 직선의 교점이다.

이 예제에서 두 직선은 (1,2)(1, 2)에서 만난다. 실제로 대입해보면 다음과 같다.

2⋅1−2=02 \cdot 1 - 2 = 0 −1+2⋅2=3-1 + 2 \cdot 2 = 3

따라서 해는 다음과 같다.

x=[12]\mathbf{x} = \begin{bmatrix} 1 \\ 2 \end{bmatrix}

행 관점에서는 연립방정식의 해를 “여러 직선이 만나는 점”으로 이해한다.

열 관점: 열벡터의 선형결합으로 보기

열 관점은 행렬의 열을 하나씩 보는 방식이다.

다시 같은 방정식을 보자.

[2−1−12][xy]=[03]\begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}

이 식을 열벡터 기준으로 풀어 쓰면 다음과 같다.

x[2−1]+y[−12]=[03]x \begin{bmatrix} 2 \\ -1 \end{bmatrix} + y \begin{bmatrix} -1 \\ 2 \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}

즉 이 문제는 다음 질문으로 바뀐다.

첫 번째 열벡터와 두 번째 열벡터를 어떤 비율로 섞으면 [03]\begin{bmatrix} 0 \\ 3 \end{bmatrix}를 만들 수 있는가?

여기서 “섞는다”는 말은 수학적으로 선형결합(linear combination)을 의미한다.

첫 번째 열벡터는 다음과 같다.

[2−1]\begin{bmatrix} 2 \\ -1 \end{bmatrix}

두 번째 열벡터는 다음과 같다.

[−12]\begin{bmatrix} -1 \\ 2 \end{bmatrix}

이 예제의 해는 x=1x = 1, y=2y = 2이다. 따라서 실제로는 첫 번째 열벡터를 한 번, 두 번째 열벡터를 두 번 더하면 된다.

1[2−1]+2[−12]=[2−1]+[−24]=[03]1 \begin{bmatrix} 2 \\ -1 \end{bmatrix} + 2 \begin{bmatrix} -1 \\ 2 \end{bmatrix} = \begin{bmatrix} 2 \\ -1 \end{bmatrix} + \begin{bmatrix} -2 \\ 4 \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}

행 관점에서는 해가 두 직선의 교점이었다. 반면 열 관점에서는 해가 우변 벡터 b\mathbf{b}를 만들기 위한 열벡터들의 계수이다.

즉 x=1x = 1, y=2y = 2라는 말은 다음 의미이다.

  • 첫 번째 열벡터를 11배 사용한다.
  • 두 번째 열벡터를 22배 사용한다.
  • 그 결과 우변 벡터 b\mathbf{b}가 만들어진다.

이 관점이 중요한 이유는 AxA\mathbf{x} 자체가 행렬 AA의 열벡터들의 선형결합이기 때문이다.

선형결합이 만드는 공간

이제 자연스럽게 다음 질문을 할 수 있다.

두 열벡터의 모든 선형결합은 어떤 벡터들을 만들 수 있는가?

앞의 예제에서는 두 열벡터가 다음과 같았다.

[2−1],[−12]\begin{bmatrix} 2 \\ -1 \end{bmatrix}, \qquad \begin{bmatrix} -1 \\ 2 \end{bmatrix}

이 두 벡터는 서로 같은 직선 위에 있지 않다. 즉 한 벡터가 다른 벡터의 단순한 배수가 아니다.

이 경우 두 벡터의 모든 선형결합은 평면 전체를 채운다. 따라서 어떤 우변 벡터 b\mathbf{b}가 주어져도 적절한 xx, yy를 골라서 만들 수 있다.

반대로 두 열벡터가 같은 직선 위에 있다면 상황이 달라진다. 그때는 아무리 선형결합을 해도 그 직선 위의 벡터만 만들 수 있다. 평면의 다른 위치에 있는 b\mathbf{b}는 만들 수 없다.

이것이 선형대수학에서 계속 등장하는 질문이다.

행렬 AA의 열벡터들을 선형결합해서 원하는 b\mathbf{b}를 만들 수 있는가?

세 번째 예제: 세 방정식과 세 미지수

이번에는 미지수가 xx, yy, zz인 세 개의 방정식을 보자.

{2x−y=0−x+2y−z=−1−3y+4z=4\begin{cases} 2x - y = 0 \\ -x + 2y - z = -1 \\ -3y + 4z = 4 \end{cases}

행렬로 쓰면 다음과 같다.

A=[2−10−12−10−34],x=[xyz],b=[0−14]A = \begin{bmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -3 & 4 \end{bmatrix}, \qquad \mathbf{x} = \begin{bmatrix} x \\ y \\ z \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 0 \\ -1 \\ 4 \end{bmatrix}

따라서 전체 식은 다음과 같다.

[2−10−12−10−34][xyz]=[0−14]\begin{bmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -3 & 4 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \end{bmatrix} = \begin{bmatrix} 0 \\ -1 \\ 4 \end{bmatrix}

3차원에서의 행 관점

2차원에서는 방정식 하나가 직선이었다.

3차원에서는 방정식 하나가 평면이다.

예를 들어 다음 방정식을 보자.

−x+2y−z=−1-x + 2y - z = -1

이 식을 만족하는 모든 점 (x,y,z)(x, y, z)는 하나의 평면을 이룬다.

마찬가지로 세 개의 방정식은 각각 하나의 평면을 만든다.

따라서 세 방정식을 동시에 푸는 문제는 세 평면이 공통으로 만나는 점을 찾는 문제이다.

일반적인 경우 세 평면은 한 점에서 만난다. 그 한 점이 연립방정식의 해이다.

하지만 3차원부터는 행 관점의 그림이 점점 복잡해진다. 2차원에서 두 직선의 교점을 보는 것은 쉽지만, 3차원에서 세 평면이 만나는 모습을 정확히 그리는 것은 쉽지 않다.

그래서 열 관점이 더 강력해진다.

3차원에서의 열 관점

같은 방정식을 열벡터 기준으로 다시 쓰면 다음과 같다.

x[2−10]+y[−12−3]+z[0−14]=[0−14]x \begin{bmatrix} 2 \\ -1 \\ 0 \end{bmatrix} + y \begin{bmatrix} -1 \\ 2 \\ -3 \end{bmatrix} + z \begin{bmatrix} 0 \\ -1 \\ 4 \end{bmatrix} = \begin{bmatrix} 0 \\ -1 \\ 4 \end{bmatrix}

이 식은 세 개의 3차원 벡터를 어떤 비율로 선형결합하면 우변 벡터를 만들 수 있는지 묻는다.

그런데 이 예제에서는 우변 벡터가 세 번째 열벡터와 정확히 같다.

b=[0−14]\mathbf{b} = \begin{bmatrix} 0 \\ -1 \\ 4 \end{bmatrix}

따라서 세 번째 열벡터를 한 번 사용하고, 첫 번째와 두 번째 열벡터는 사용하지 않으면 된다.

0[2−10]+0[−12−3]+1[0−14]=[0−14]0 \begin{bmatrix} 2 \\ -1 \\ 0 \end{bmatrix} + 0 \begin{bmatrix} -1 \\ 2 \\ -3 \end{bmatrix} + 1 \begin{bmatrix} 0 \\ -1 \\ 4 \end{bmatrix} = \begin{bmatrix} 0 \\ -1 \\ 4 \end{bmatrix}

그러므로 해는 다음과 같다.

x=[001]\mathbf{x} = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}

행 관점에서는 이 해가 세 평면이 만나는 점이다. 열 관점에서는 이 해가 우변 벡터를 만들기 위한 세 열벡터의 계수이다.

우변이 바뀌면 해도 바뀐다

같은 행렬 AA를 두고 우변 벡터만 바꿔보자.

첫 번째 열벡터와 두 번째 열벡터를 더하면 다음과 같다.

[2−10]+[−12−3]=[11−3]\begin{bmatrix} 2 \\ -1 \\ 0 \end{bmatrix} + \begin{bmatrix} -1 \\ 2 \\ -3 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \\ -3 \end{bmatrix}

따라서 우변 벡터가 다음과 같이 바뀐다면,

b=[11−3]\mathbf{b} = \begin{bmatrix} 1 \\ 1 \\ -3 \end{bmatrix}

해는 바로 다음과 같다.

x=[110]\mathbf{x} = \begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix}

왜냐하면 첫 번째 열벡터를 한 번, 두 번째 열벡터를 한 번, 세 번째 열벡터를 영 번 사용하면 새로운 b\mathbf{b}가 만들어지기 때문이다.

이 예시는 중요한 점을 보여준다.

행렬 AA가 같아도 우변 b\mathbf{b}가 달라지면 해 x\mathbf{x}도 달라진다. 하지만 열 관점에서는 여전히 같은 질문을 하고 있다.

AA의 열벡터들을 어떤 계수로 섞으면 b\mathbf{b}가 되는가?

모든 우변에 대해 풀 수 있는가

이제 더 큰 질문을 할 수 있다.

Ax=bA\mathbf{x} = \mathbf{b}

를 모든 우변 벡터 b\mathbf{b}에 대해 풀 수 있는가?

열 관점에서 이 질문은 다음과 같다.

행렬 AA의 열벡터들의 모든 선형결합이 전체 공간을 채우는가?

3차원에서 세 열벡터의 선형결합이 3차원 공간 전체를 채운다면, 어떤 b\mathbf{b}가 주어져도 해를 찾을 수 있다.

이런 행렬은 좋은 행렬이다. 보통 다음과 같이 부른다.

  • 비특이 행렬(nonsingular matrix)
  • 가역 행렬(invertible matrix)

가역 행렬이라는 말은 행렬 AA에 대해 역행렬 A−1A^{-1}이 존재한다는 뜻이다. 이 경우 모든 b\mathbf{b}에 대해 다음과 같이 해를 쓸 수 있다.

x=A−1b\mathbf{x} = A^{-1}\mathbf{b}

물론 실제 계산에서는 항상 역행렬을 직접 구하는 방식이 가장 좋은 것은 아니다. 하지만 개념적으로는 “모든 우변에 대해 해가 존재한다”는 성질과 깊게 연결된다.

해를 만들 수 없는 경우

반대로 세 열벡터가 모두 같은 평면 위에 놓여 있다고 하자.

그러면 이 세 벡터를 아무리 선형결합해도 그 평면 밖으로 나갈 수 없다.

예를 들어 세 번째 열벡터가 첫 번째 열벡터와 두 번째 열벡터의 합이라면, 세 번째 열벡터는 새로운 방향을 제공하지 않는다.

a3=a1+a2\mathbf{a}_3 = \mathbf{a}_1 + \mathbf{a}_2

이 경우 세 열벡터의 모든 선형결합은 결국 a1\mathbf{a}_1, a2\mathbf{a}_2가 만드는 평면 안에 머문다.

따라서 b\mathbf{b}가 그 평면 위에 있으면 해가 있을 수 있지만, b\mathbf{b}가 평면 밖에 있으면 해가 없다.

이런 행렬은 특이 행렬(singular matrix)이라고 한다. 특이 행렬은 역행렬이 없고, 모든 우변에 대해 해를 보장하지 못한다.

더 높은 차원에서도 같은 질문이다

9개의 방정식과 9개의 미지수가 있다고 하자.

그러면 행렬 AA는 9×99 \times 9 행렬이고, 열벡터는 9개이다. 각 열벡터는 9차원 공간의 벡터이다.

우리는 9차원 공간을 직접 그릴 수는 없다. 하지만 질문은 2차원이나 3차원과 완전히 같다.

9개의 열벡터를 선형결합해서 원하는 9차원 벡터 b\mathbf{b}를 만들 수 있는가?

9개의 열벡터가 서로 독립적인 방향을 제공하면, 그 선형결합은 9차원 공간 전체를 채운다. 이 경우 모든 b\mathbf{b}에 대해 해가 존재한다.

하지만 어떤 열벡터가 다른 열벡터와 같거나, 다른 열벡터들의 선형결합으로 표현된다면 새로운 방향이 추가되지 않는다.

예를 들어 아홉 번째 열벡터가 여덟 번째 열벡터와 같다면, 아홉 번째 열은 사실상 새로운 정보를 주지 않는다. 이때 모든 선형결합은 9차원 공간 전체가 아니라 그보다 낮은 차원의 부분공간에 머문다.

이처럼 선형대수학은 고차원에서도 같은 관점을 사용한다. 직접 그릴 수는 없지만, 열벡터들의 선형결합이 어떤 공간을 만드는지 생각하면 된다.

행렬과 벡터의 곱

이제 AxA\mathbf{x}가 정확히 무엇을 의미하는지 정리할 수 있다.

행렬과 벡터의 곱은 행렬의 열벡터들의 선형결합이다.

예를 들어 다음 행렬과 벡터를 보자.

A=[2513],x=[12]A = \begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix}, \qquad \mathbf{x} = \begin{bmatrix} 1 \\ 2 \end{bmatrix}

열 관점에서 보면 AxA\mathbf{x}는 첫 번째 열벡터를 11배, 두 번째 열벡터를 22배 한 뒤 더한 것이다.

Ax=1[21]+2[53]A\mathbf{x} = 1 \begin{bmatrix} 2 \\ 1 \end{bmatrix} + 2 \begin{bmatrix} 5 \\ 3 \end{bmatrix}

계산하면 다음과 같다.

Ax=[21]+[106]=[127]A\mathbf{x} = \begin{bmatrix} 2 \\ 1 \end{bmatrix} + \begin{bmatrix} 10 \\ 6 \end{bmatrix} = \begin{bmatrix} 12 \\ 7 \end{bmatrix}

즉,

[2513][12]=[127]\begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 12 \\ 7 \end{bmatrix}

이다.

행 기준 계산과 열 기준 계산

행렬과 벡터의 곱은 행 기준으로도 계산할 수 있다.

[2513][12]=[2⋅1+5⋅21⋅1+3⋅2]=[127]\begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 2 \cdot 1 + 5 \cdot 2 \\ 1 \cdot 1 + 3 \cdot 2 \end{bmatrix} = \begin{bmatrix} 12 \\ 7 \end{bmatrix}

이 방식은 각 행과 벡터의 내적(dot product)을 계산하는 방식이다.

두 계산 방식은 결과가 같다.

하지만 선형대수학의 구조를 이해할 때는 열 기준 해석이 특히 중요하다.

열 기준으로 보면 AxA\mathbf{x}는 다음 의미를 가진다.

Ax=x1a1+x2a2+⋯+xnanA\mathbf{x} = x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n

여기서 a1,a2,…,an\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n은 행렬 AA의 열벡터들이다.

즉 AxA\mathbf{x}는 행렬 AA의 열벡터들을 x\mathbf{x}의 성분만큼 선형결합한 결과이다.

핵심 정리

선형방정식의 기본 형태는 다음과 같다.

Ax=bA\mathbf{x} = \mathbf{b}

이 식은 세 가지 관점에서 볼 수 있다.

행 관점

각 방정식을 하나씩 보는 방식이다.

2차원에서는 각 방정식이 직선이고, 해는 직선들의 교점이다.

3차원에서는 각 방정식이 평면이고, 해는 평면들의 공통 교점이다.

열 관점

행렬의 열벡터를 보는 방식이다.

AxA\mathbf{x}

는 행렬 AA의 열벡터들의 선형결합이다.

따라서 Ax=bA\mathbf{x} = \mathbf{b}를 푼다는 것은 열벡터들을 어떤 계수로 섞어야 b\mathbf{b}가 되는지 찾는 것이다.

행렬 관점

연립방정식 전체를 하나의 짧은 식으로 표현하는 방식이다.

Ax=bA\mathbf{x} = \mathbf{b}

이 표현은 계산을 체계화하고, 이후 소거법, 역행렬, 열공간, 영공간 같은 개념으로 이어진다.

정리

행렬과 벡터의 곱은 열벡터들의 선형결합이다.

Ax=x1a1+x2a2+⋯+xnanA\mathbf{x} = x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n

따라서 연립방정식

Ax=bA\mathbf{x} = \mathbf{b}

의 핵심 질문은 다음이다.

행렬 AA의 열벡터들을 선형결합해서 우변 벡터 b\mathbf{b}를 만들 수 있는가?

만들 수 있다면 해가 존재한다.

모든 b\mathbf{b}를 만들 수 있다면 행렬 AA는 가역 행렬이다.

만들 수 없는 b\mathbf{b}가 있다면 행렬 AA는 특이 행렬이다.

결국 선형대수학의 첫 출발점은 방정식을 푸는 것이지만, 그 안쪽에는 열벡터들의 선형결합이 어떤 공간을 만드는지 이해하는 문제가 들어 있다.