행렬곱(matmul)

세 백터 $u$, $v$, $w$가 존재할 때

$u = \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix}, \ v = \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix}, \ w = \begin{bmatrix} 0 \\ 0 \\ 1\end{bmatrix}$

이때 3차원상에서의 선형결합은 $x_1u + x_2v + x_3w$로 정의됨.

$x_1\begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix} + x_2\begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} + x_3\begin{bmatrix} 0 \\ 0 \\ 1\end{bmatrix} = \begin{bmatrix} x_1 \\ x_2-x_1 \\ x_3-x_2\end{bmatrix}$

$u, v, w$를 difference 행렬 $A$로 모아 벡터 $x=(x_1, x_2, x_3)$와 한번의 행렬곱으로 수행할 수 있음

$\begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1\end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}= \begin{bmatrix} x_1 \\ x_2-x_1 \\ x_3-x_2\end{bmatrix}$

이때 $Ax$는 $A$의 열의 조합 $b$이다.
$Ax=b$

또한 $Ax$는 $x$와 $A$의 각 row와의 내적(dot products)이다.

$\begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1\end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}= \begin{bmatrix} (1,0,0) \cdot (x_1, x_2, x_3) \\ (-1,1,0) \cdot (x_1, x_2, x_3) \\ (0,-1,1) \cdot (x_1, x_2, x_3)\end{bmatrix}$

선형방정식(Linear Equation)

$x$가 주어질 때 $Ax=b$를 구하는 것은 일종의 함수
이때 $x$를 모르고 $b$를 알 경우, $Ax=b$는 선형방정식
이때 방정식의 해는 다음과 같음:

$x = A^{-1}b$

역행렬(Inverse Matrix)

이때 위의 difference matrix $A$에서 $b$는 각 $x_i$의 차(diff) 였다면, $b$의 합은 $x$이다.

즉, diff matrix $A$ ↔ sum matrix $A^{-1}$

이는 미분과 적분의 관계와 같다.

적분(integration)은 미분(differentiation)의 역(inverse)이다.

• 벡터 $x$를 일종의 함수 $x(t)$로 치환하면,

• $Ax$는 도함수(derivative)인 $dx/dt = b$ 가 된다.

• 역접근법을 취하면, $x(t) = A^{-1}b = \int_0^t b\, dt$ 이다.

• $x(t) = t^2$이라 가정할 때, $dx/dt = 2t$이다.

• 차행렬의 접근법은 홀수 요소로 구성된 벡터(0,1,4,9)에서는 성립하나 짝수에서 성립하지 않으므로, 후방차이(backward)인 $2t-1$을 이용한다.

• $\mathrm{Backward} \ \ \ x(t) - x(t-1) = t^2-(t-1)^2=t^2-(t^2-2t+1) = 2t-1$

• 전방 차이(forward difference)는 $2t+1$이다.

• 이때 중앙 차이(Centered difference)를 이용한다: $x(t+1)-x(t-1)$

• $x(t)=t^2,\ \ \ \frac{(t+1)^2-(t-1)^2}{2}=2t$

• 이때 분모는 $\Delta t$이며, $t-1$부터 $t+1$까지의 거리로, 2이다.

Circlic Differences

예시로 세 벡터 $u, v, w^*$ 가 있을때, 세 벡터는 cyclic dofference matrix $C$를 구성함:

$u = \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix}, \ v = \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix}, \ w^* = \begin{bmatrix} 0 \\ 0 \\ 1\end{bmatrix}$

$Cx = \begin{bmatrix} 1 & 0 & -1 \\ -1 & 1 & 0 \\ 0 & -1 & 1\end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} x_1 - x_3 \\ x_2 - x_1 \\ x_3 - x_2 \end{bmatrix} = b$

• 이때 $C$는 삼각행렬이 아님
• 일반적으로, $Cx=b$에 대해서는 해가 존재하지 않거나 무한히 많은 해가 존재함.
• 만약 $b$가 영행렬이라면, $(x_1, x_2, x_3) = (c, c, c)$ 이므로, 모든 실수 c에 대해서 해가 존재함.

$b$가 영행렬이 아닌 경우 일반적으로는 해가 존재하지 않음. 아래 예시에서:

$Cx=b ,\ \ \begin{bmatrix} x_1 - x_3 \\ x_2 - x_1 \\ x_3 - x_2 \end{bmatrix} = b = \begin{bmatrix} 1 \\ 3 \\ 5\end{bmatrix}$

우변의 합은 9, 좌변의 합은 0

• $\text{left side} \neq \text{right side}$ 이므로 해 $x$가 존재하지 않는다.

• $b_1 + b_2 + b_3 = 0$인 경우 $Cx=b$는 해가 존재한다.

• 왜냐하면, $b_1 + b_2 + b_3 = 0$인 경우, 가능한 선형결합 $x_1u + x_2v + x_3w^*$ 는 $b_1+b_2+b_3=0$이 생성하는 평면 위에 놓이게 되기 때문이다.

선형독립, 선형 종속(Independence and Dependence)

위의 예시에서 $u$, $v$가 생성하는 평면 상에 $w, \ w^*$가 위치하는지의 여부

• 선형독립(independence): $w$가 $u, \ v$가 생성하는 평면 상에 존재하지 않음
  • $u, \ v, \ w$은 n차원 공간 전체를 생성
• 선형종속(dependence): $w^*$가 $u, \ v$가 생성하는 평면에 존재
  • $u, \ v, \ w^*$는 2차원 평면을 생성 $u + v + w^* = 0 \ \ \ \ w^*=\begin{bmatrix} -1 \\ 0 \\ 1\end{bmatrix} = -u-v$
• 선형 종속의 예시
  • 어떤 벡터가 나머지 벡터들의 선형결합으로 표현될 수 있을 때
    • 어떤 벡터가 나머지 벡터들과 독립적이지 않음
    • $x_1u+x_2v+x_3w^∗=0$ 에서 적어도 하나가 0이 아닌 해가 존재할 경우

위 예시에서는 $w^*$를 새롭게 추가하더라도 선형종속이기 때문에 차원이 늘어나지 않음.

$u, \ v, \ w$는 선형독립임. $0u+0v+0w=0$을 제외한 어떤 선형결합도 $b=0$을 만들 수 없음. $u, \ v, \ w^*$는 선형종속임. $u + v + w^* = 0$ 처럼 $b=0$이 도출됨. 즉 비자명한 해가 존재함

• Independent Columns: $Ax=0$는 하나의 해를 가짐. $A$는 invertible matrix(가역 행렬)
  • $\det(A) \neq 0$
• Dependent Columns: $Cx =0$은 무수히 많은 해를 가짐. $C$는 singular matrix(특이 행렬)
  • $\det(A) = 0$

정리

1. 행렬과 벡터의 곱셈: $Ax$는 $A$의 columns의 결합이다.
2. $Ax=b$의 해는 $A$가 가역행렬(invertible)일때 $x=A^{-1}b$이다.
3. Cyclic 행렬 $C$는 역행렬이 존재하지 않는다. 예시의 3개의 column 이 같은 평면에 존재한다. 종속 열들을 더하면 영벡터가 도출되며, $Cx=0$는 무수히 많은 해를 가진다.