딥러닝 / NLP
NLP
-
Transformer
Self-Attention을 기반으로 한 Transformer 구조, Encoder, Decoder, Masked Self-Attention과 Cross-Attention 정리
-
Self-Attention
일반 Attention에서 Self-Attention으로 넘어가는 관점 전환과 Q, K, V의 역할을 정리한다.
-
Attention 직관
Decoder의 잠정 상태, attention score, attention weight, context vector 흐름 직관
-
Attention
seq2seq의 고정 길이 벡터 한계를 보완하는 Attention 구조와 WeightSum, AttentionWeight, TimeAttention 구현 정리
-
RNN 문장 생성 텐서 형상
RNN 문장 생성 과정에서 입력 임베딩, LSTM, 출력층, softmax까지의 텐서 형상을 정리한다.
-
RNN을 사용한 문장 생성
RNN 언어 모델을 이용한 문장 생성, seq2seq, Encoder-Decoder 구조와 Peeky 개선
-
Gated RNN
기본 RNN의 장기 의존성 문제와 LSTM의 게이트 구조, TimeLSTM 구현, RNNLM 개선 방법
-
RNN
순환 신경망의 구조, BPTT와 Truncated BPTT, TimeRNN과 RNN 언어 모델
-
Embedding과 Negative Sampling
CBOW에서 Embedding 계층과 Negative Sampling을 사용해 계산량을 줄이는 과정
-
CBOW
CBOW의 구조, 임베딩 벡터와 NLL 손실, skip-gram과의 차이, 통계 기반 기법과 추론 기반 기법의 차이
-
PMI, SVD
단어 동시발생 빈도의 고빈도 편향 문제, PMI와 PPMI, PPMI 행렬에 SVD를 적용해 단어 벡터를 만드는 흐름