손실함수

로지스틱 손실 함수 로지스틱 손실 함수는 다중 분류를 위한 손실 함수인 크로스 엔트로피(cross entropy) 손실 함수를 이진 분류 버전으로 만든 것이다. a를 활성화 함수가 출력한 값이고 y는 타깃이라 하자. L = -( y * log(a) + (1 - y) * log(1-a)) 그렇다(1), 아니다(0)라는 식으로 2개의 정답만 있기 때문에 왼쪽과 오른쪽이 반대가 되는 상황입니다. 식을 최소로 만들다 보면 a의 값이 우리가 원하는 목표치가 된다. 이제 가중치와 절편을 찾기 위해 미분만 하면 된다. 로지스틱 손실 함수 미분하기 로지스틱 손실 함수를 미분하면 다음과 같다. 함수를 기울기(가중치)와 절편에 대해 편미분을 진행하면 다음 식이 나온다. 이 식을 자세히 보면 앞에서 사용한 제곱 오차를 미분..

손실 함수란? 손실 함수는 쉽게 말해 예상한 값과 실제 타깃 값의 차이를 함수로 정의한 것을 말한다. 그 중 하나인 제곱 오차로 이해해보자. 제곱 오차 제곱 오차는 타깃값과 예측값을 뺀 다음 제곱한 것이다. SE = (y - k)^2 그럼 이 함수의 기울기를 구하려면 제곱 오차를 가중치나 절편에 대해 미분하면 된다. 기울기를 구하는 이유는 기울기를 알면 최솟값을 구할 수 있기 때문이다. SE를 w에 대해 편미분을 진행한다면, -(y - k)x라는 값을 구할 수 있다. 손실 함수를 최소화 시키기 위해서는 저 값을 빼면 된다. w = w + (y - k)x 이 형태는 저번 포스트에 작성한 (w + w_rate * err)와 같은 형태이다. 절편도 동일하게 시행한다. 그러면 -(y - k)1이란 값을 구할 수..