배치정규화1 [밑바닥부터 시작하는 딥러닝] 최적화 최적화(optimization) - 신경망 학습의 목적은 손실 함수의 값을 가능한 작게 만드는 매개변수를 찾는 것으로, 이를 '최적화'라고 함. - 앞에서 최적의 매개변수 값을 찾기 위해 매개변수의 기울기를 구해 기울어진 방향으로 매개변수 값을 업데이트 하였으며, 이를 '확률적 경사 하강법(SGD)'이라고 하였음. - 이와 같은 SGD는 단순하고 구현이 쉽지만 탐색 경로가 비효율적일 때가 있음. SGD의 단점을 보완한 최적화 방법: 모멘텀, AdaGrad, Adam - 모멘텀: SGD와 비교하면 최적화하는 과정에서 '지그재그 정도'가 덜해 효율적으로 최적값을 찾는다고 할 수 있음. - AdaGrad: 학습률이 처음에는 크다가 점점 작아지는 방법임. - Adam: 모멘텀과 AdaGrad의 두 기법을 융합한.. 2022. 10. 8. 이전 1 다음