AdaGrad1 경사하강법과 최적화 알고리즘 @동아리 세션 내용을 정리해 보았다. 퍼셉트론 다수의 신호를 입력받아 하나의 신호를 출력하는 알고리즘 가장 단순한 형태의 신경망 input / weight / bias / Activation Function(활성화 함수) / output AND게이트, OR게이트, XOR게이트 : 신경망은 최적의 매개변수를 찾아야함. 손실함수는 매우 복잡하고 매개변수 공간이 광대하여 어디가 최솟값이 되는 곳인지를 짐작할 수 없음. 이에 기울기를 이용함. (최적 = 손실 함수가 최솟값이 될 때의 매개변수 값. ) 기울어진 방향이 꼭 최솟값을 가리키지는 않으나 그 방향으로 가야 함수의 값을 줄일 수 있음. 경사법 : 현 위치에서 기울어진 방향으로 일정 거리만큼 이동. 이동한곳에서 기울기를 구하고 기울어진 방향으로 나아가기를 .. 2024. 2. 5. 이전 1 다음
