딥러닝 / 학습원리
학습원리
-
배치 정규화
배치 정규화의 정의, 필요성, 순전파와 역전파 계산, 학습 안정화 효과
-
과대적합(Overfit) 해결
과대적합의 정의와 발생 상황, 가중치 감소와 드롭아웃을 통한 해결 방법
-
매개변수 갱신
SGD의 한계와 Momentum, AdaGrad를 통한 매개변수 갱신 방법
-
가중치 초깃값 설정
신경망 학습에서 가중치 초깃값이 중요한 이유와 Xavier 초기화, He 초기화의 직관
-
행렬 곱 역전파에서 전치행렬이 등장하는 이유
z = Wx 형태의 행렬 곱 노드에서 역전파 시 W의 전치행렬이 등장하는 과정
-
곱셈 노드의 역전파
계산 그래프에서 곱셈 노드가 역전파 시 입력과 기울기를 어떻게 전달하는지 정리한다.