활성화함수2 [딥러닝 파이토치 교과서] 활성화함수와 손실 함수 활성화함수 - 전달함수에서 전달받은 값을 출력할 때 일정 기준에 따라 출력 값을 변화시키는 비선형 함수 1) 시그모이드 함수 - 선형 함수의 결과를 0~1 사이에서 비선형 형태로 변형해줌 - 모델의 깊이가 깊어지면 기울기가 사라지는 '기울기 소멸 문제' 발생 참고) 시그모이드 함수의 단점 - 기울기 소실 문제: 입력의 절대값이 크게 되면 0이나 1로 수렴하게 되는데 이와 같이 수렴된 뉴런의 그래디언트 값은 0이기 때문에 역전파에서 0이 곱해짐 -> 역전파가 진행됨에 따라 아래층에는 아무것도 전달되지 않는 기울기 소실 문제 발생 - 원점이 중심이 아님: 시그모이드 함수는 항상 양수를 출력하기 때문에 출력의 가중치 합이 입력의 가중치 합보다 커질 가능성이 높으며, 이러한 이유로 가장 높은 레이어에서는 활성화.. 2023. 4. 16. [밑바닥부터 시작하는 딥러닝] 신경망 이전 글에서는 퍼셉트론에 대해서 알아보았습니다. 퍼셉트론에서는 w1, w2, b를 직접 설정해주어야 하는 번거로움이 있었는데 이번에는 데이터를 학습해 적절한 w1, w2, b의 값을 설정해주는 신경망에 대해서 알아봅시다 신경망을 이해하기 위해 활성화 함수에 대해 먼저 알아봅시다. 퍼셉트론 복습 - 앞의 글에서는 퍼셉트론을 [식 1]과 같이 표현하였는데 [식 2]와 같이 표현하는 것도 가능합니다. [식 1] [식 2] 활성화 함수 - 위의 [식 2]에서 h(x)를 활성화 함수(activation function)라고 하며, 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 합니다. - [식 2]의 활성화 함수는 [그림 1]과 같이 표현되며, '계단 함수'로 불립니다. [그림 1] 계단 함수 - 활성화.. 2022. 9. 4. 이전 1 다음
