본문 바로가기

손실함수2

[딥러닝 파이토치 교과서] 활성화함수와 손실 함수 활성화함수 - 전달함수에서 전달받은 값을 출력할 때 일정 기준에 따라 출력 값을 변화시키는 비선형 함수 1) 시그모이드 함수 - 선형 함수의 결과를 0~1 사이에서 비선형 형태로 변형해줌 - 모델의 깊이가 깊어지면 기울기가 사라지는 '기울기 소멸 문제' 발생 참고) 시그모이드 함수의 단점 - 기울기 소실 문제: 입력의 절대값이 크게 되면 0이나 1로 수렴하게 되는데 이와 같이 수렴된 뉴런의 그래디언트 값은 0이기 때문에 역전파에서 0이 곱해짐 -> 역전파가 진행됨에 따라 아래층에는 아무것도 전달되지 않는 기울기 소실 문제 발생 - 원점이 중심이 아님: 시그모이드 함수는 항상 양수를 출력하기 때문에 출력의 가중치 합이 입력의 가중치 합보다 커질 가능성이 높으며, 이러한 이유로 가장 높은 레이어에서는 활성화.. 2023. 4. 16.
[밑바닥부터 시작하는 딥러닝] 신경망에서 학습 신경망에서 학습 - 신경망에서 데이터를 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 것을 의미함. - 그 방법으로 데이터에서 특징(features)을 추출하고, 그 특징의 패턴을 기계학습 기술로 학습할 수 있음. ex) 데이터를 보고 사람이 직접 중요한 특징을 추출하고, SVM, KNN과 같은 기계학습 기법으로 학습시킴. - 딥러닝에서는 기계(컴퓨터)가 데이터를 '있는 그대로' 학습하며, 이는 데이터의 중요한 특징까지 기계가 스스로 학습한다는 것을 의미함. 훈련 데이터(training data)와 시험 데이터(test data) - 기계학습 문제는 데이터를 훈련 데이터와 시험 데이터로 나눠 학습과 실험을 수행함. - 훈련 데이터만 사용하여 학습하면서 최적의 매개변수를 찾고, .. 2022. 9. 18.