연쇄법칙1 [밑바닥부터 시작하는 딥러닝] 오차역전파 이전의 글에서 신경망의 가중치는 수치 미분을 사용해서 구했습니다. 수치 미분은 단순하고 구현하기도 쉽지만 계산하는 데 시간이 오래 걸린다는 단점이 있어 이번에는 효율적으로 계산하는 방법인 '오차역전파'에 대해서 알아보겠습니다. 계산 그래프 - 계산 그래프는 계산 과정을 그래프로 나타낸 것으로 복수의 노드(node)와 에지(edfge)로 표현됩니다. - 참고로 노드 사이의 직선을 에지라고 합니다. - 계산 그래프를 사용하는 이유는 전체 그래프가 복잡하더라도 각 노드에서는 단순한 계산에 집중하여 문제를 단순화할 수 있기 때문입니다. - 이외에도 계산 그래프를 사용하는 가장 큰 이유로는 역전파를 통해 미분을 효율적으로 계산할 수 있기 때문입니다. 계산 그래프 예시 - 아래의 [그림 1]에서 역전파는 오른쪽에서.. 2022. 9. 22. 이전 1 다음
