MATH & ML

결국 우리의 목적은 우리의 모델결과와 실제 target 사이의 error를 최소화시키는데에 있다.즉 loss function을 최소화 하는 parameter(weight) W를 찾는것이 목표이다그런데 문제는 loss function이 그냥 미분해서 구할 수 없는 경우가 자주 생기며 이 대는 어떻게 이 W를 찾을지가 중요하다.이때 쓰는것이 바로 gradient descent이다.수학적으로 어떤 함수의 gradient는 그 함수의 경사가 가장 가파른 곳의 벡터를 나타내게 되는데이를 이용하여 W를 함수의 경사가 가장 가파른 방향으로 loss function이 작아지도록 계속 업데이트를 시키는 과정그게 바로 gradient descent라고 할 수 있다.문제는 이 과정중에 local minimum이나 saddl..