최적화2 [파이토치] 신경망 모델 구성/Autograd/최적화 파이토치 한국어 튜토리얼에서 '신경망 모델 구성하기', 'Autograd', '최적화' 부분에 대해서 공부하고 정리함 1. 신경망 모델 구성하기 import os import torch from torch import nn from torch.utils.data import DataLoader from torchvision import datasets, transforms 학습을 얻기 위한 장치 device = ( "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu" ) print(f"Using {device} device") -----------------------------------.. 2023. 5. 14. [밑바닥부터 시작하는 딥러닝] 최적화 최적화(optimization) - 신경망 학습의 목적은 손실 함수의 값을 가능한 작게 만드는 매개변수를 찾는 것으로, 이를 '최적화'라고 함. - 앞에서 최적의 매개변수 값을 찾기 위해 매개변수의 기울기를 구해 기울어진 방향으로 매개변수 값을 업데이트 하였으며, 이를 '확률적 경사 하강법(SGD)'이라고 하였음. - 이와 같은 SGD는 단순하고 구현이 쉽지만 탐색 경로가 비효율적일 때가 있음. SGD의 단점을 보완한 최적화 방법: 모멘텀, AdaGrad, Adam - 모멘텀: SGD와 비교하면 최적화하는 과정에서 '지그재그 정도'가 덜해 효율적으로 최적값을 찾는다고 할 수 있음. - AdaGrad: 학습률이 처음에는 크다가 점점 작아지는 방법임. - Adam: 모멘텀과 AdaGrad의 두 기법을 융합한.. 2022. 10. 8. 이전 1 다음