![]()
로지스틱 손실 함수 로지스틱 손실 함수는 다중 분류를 위한 손실 함수인 크로스 엔트로피(cross entropy) 손실 함수를 이진 분류 버전으로 만든 것이다. a를 활성화 함수가 출력한 값이고 y는 타깃이라 하자. L = -( y * log(a) + (1 - y) * log(1-a)) 그렇다(1), 아니다(0)라는 식으로 2개의 정답만 있기 때문에 왼쪽과 오른쪽이 반대가 되는 상황입니다. 식을 최소로 만들다 보면 a의 값이 우리가 원하는 목표치가 된다. 이제 가중치와 절편을 찾기 위해 미분만 하면 된다. 로지스틱 손실 함수 미분하기 로지스틱 손실 함수를 미분하면 다음과 같다. 함수를 기울기(가중치)와 절편에 대해 편미분을 진행하면 다음 식이 나온다. 이 식을 자세히 보면 앞에서 사용한 제곱 오차를 미분..
경사 하강법이란? 저번 포스트에서 선형 회귀를 다루었다. 데이터에 가장 적합한 함수를 그려나갈 때 어떻게 데이터에 맞춰 나가며 그릴 것인가? 그에 대한 답 중 하나가 경사 하강법이다. 경사 하강법 적용 y = ax + b라는 식이 있다. 이 식을 데이터에 맞는 식으로 바꾸기 위해서는 a, b를 조정해야 한다. 우선 a, b를 임의의 값으로 초기화한다. 나는 모두 1이라 하겠다. a = 1.0 b = 1.0 첫 데이터를 x에 입력한다면 y값을 예측할 수 있다. (예측값 y를 k라 하자) 그다음 우리는 k와 y(실제 답)을 비교하여 얼마나 잘 예측했나 판단할 수 있다. 내가 임의로 초기화한 값이 바로 들어맞을 확률은 거의 0%라고 생각한다. 그럼 이제 a와 b값을 조정하여 더 잘 맞추는 모델을 만들어 보자...
