딥러닝 / TRANSFORMER

TRANSFORMER

Sep 2, 2026 Sinusoidal Positional Encoding의 원리 여러 주기의 sin과 cos를 이용해 token의 위치를 embedding과 같은 차원의 vector로 표현하는 원리 Transformer의 self-attention은 입력 vector 사이의 관계를 계산하지만, token이 원래 몇 번째 위치에 있었는지는 스스로 알 수 없다. 따라서 token embedding에 위치정보를 별도로 넣어주어야 한다. Sinusoidal positional encoding은 token의 위치 를 여러 주파수의 sin과 cos로 변환하여 차원 vector 하나로 표현하는 방법이다. #TRANSFORMER