손실 함수란?
손실 함수는 쉽게 말해 예상한 값과 실제 타깃 값의 차이를 함수로 정의한 것을 말한다.
그 중 하나인 제곱 오차로 이해해보자.
제곱 오차
제곱 오차는 타깃값과 예측값을 뺀 다음 제곱한 것이다.
SE = (y - k)^2
그럼 이 함수의 기울기를 구하려면 제곱 오차를 가중치나 절편에 대해 미분하면 된다.
기울기를 구하는 이유는 기울기를 알면 최솟값을 구할 수 있기 때문이다.
SE를 w에 대해 편미분을 진행한다면, -(y - k)x라는 값을 구할 수 있다.
손실 함수를 최소화 시키기 위해서는 저 값을 빼면 된다.
w = w + (y - k)x
이 형태는 저번 포스트에 작성한 (w + w_rate * err)와 같은 형태이다.
절편도 동일하게 시행한다.
그러면 -(y - k)1이란 값을 구할 수 있는데 마찬가지로 w에서 빼준다.
b = b + (y - k)
