-
4.3. Least Squres Approximations
최소제곱법
-
Gated RNN
기본 RNN의 장기 의존성 문제와 LSTM의 게이트 구조, TimeLSTM 구현, RNNLM 개선 방법
-
4.2. Projection
투영
-
RNN
순환 신경망의 구조, BPTT와 Truncated BPTT, TimeRNN과 RNN 언어 모델
-
4.1. Orthogonality of the Four Subspaces
직교와 부분공간
-
Embedding과 Negative Sampling
CBOW에서 Embedding 계층과 Negative Sampling을 사용해 계산량을 줄이는 과정
-
3.5. The Four Fundamental Subspaces
부분공간
-
CBOW
CBOW의 구조, 임베딩 벡터와 NLL 손실, skip-gram과의 차이, 통계 기반 기법과 추론 기반 기법의 차이
-
3.4. Independence, Basis, and Dimension
종속, 기저, 차원
-
PMI, SVD
단어 동시발생 빈도의 고빈도 편향 문제, PMI와 PPMI, PPMI 행렬에 SVD를 적용해 단어 벡터를 만드는 흐름
-
3.3. The Complete Solution to Ax=b
완전해
-
합성곱 신경망(CNN)
CNN의 기본 구조, 합성곱 연산, 패딩, 스트라이드, 3차원 합성곱, 배치 처리와 풀링 계층
-
3.2. The Nullspace of A, Solving Ax=0 and Rx=0
영공간
-
3.1. Space of Vector
벡터공간
-
배치 정규화
배치 정규화의 정의, 필요성, 순전파와 역전파 계산, 학습 안정화 효과
-
2.7 Transpose and Permutations
전치, 순열 행렬
-
과대적합(Overfit) 해결
과대적합의 정의와 발생 상황, 가중치 감소와 드롭아웃을 통한 해결 방법
-
2.6 Elimination = Factorization, A=LU
제거, 인수분해
-
매개변수 갱신
SGD의 한계와 Momentum, AdaGrad를 통한 매개변수 갱신 방법
-
2.5. Inverse Matrices
역행렬의 정의, 가역성 판별, 소거행렬의 역, Gauss-Jordan 소거법
-
가중치 초깃값 설정
신경망 학습에서 가중치 초깃값이 중요한 이유와 Xavier 초기화, He 초기화의 직관
-
2.4 Rules for Matrix Operation
행렬 연산 규칙
-
2.3 Elimination Using Matrices
행렬 이용 소거
-
2.2 The Idea of Elimination
소거법의 개념
-
2.1. Vectors and Linear Equations
벡터와 선형방정식
-
1.3. Matrix
행렬곱, 차분행렬, cyclic difference, 선형독립과 선형종속
-
1.2. Lengths and Dot Products
길이와 내적 정리
-
1.1. Row Picture and Column Picture
선형방정식 Ax=b를 행 관점, 열 관점, 행렬 관점으로 바라보는 첫 정리
-
행렬 곱 역전파에서 전치행렬이 등장하는 이유
z = Wx 형태의 행렬 곱 노드에서 역전파 시 W의 전치행렬이 등장하는 과정
-
곱셈 노드의 역전파
계산 그래프에서 곱셈 노드가 역전파 시 입력과 기울기를 어떻게 전달하는지 정리한다.
-
ART 리빙랩 글로컬 해커톤(8/20~8/21) 후기
AWS와 NxtCloud가 함께한 ART 리빙랩 글로컬 해커톤 참가 후기
-
[Spring] 스프링 트랜잭션 관리의 기본 개념과 원리
스프링 트랜잭션 관리의 도입 배경, 트랜잭션 추상화, 리소스 동기화, 선언적 트랜잭션 관리와 전파 속성
-
[데이터베이스][MySQL] 트랜잭션 격리 수준과 MySQL 동작 방식
MySQL을 기준으로 트랜잭션 격리 수준, 트랜잭션 이상 현상, MVCC, Next-Key Lock의 동작 방식을 정리
-
[데이터베이스][MySQL] 외래키와 잠금 대기
MySQL InnoDB에서 외래키 제약이 부모 테이블과 자식 테이블의 잠금 대기를 유발하는 방식을 정리한다.
-
동기/비동기, 블로킹/논블로킹
동기와 비동기, 블로킹과 논블로킹의 정의와 차이점, 조합