로지스틱 회귀를 제대로 이해하기 위해서는 먼저 알아볼 개념이 몇 가지 있다.
그중 하나는 퍼셉트론이다.
퍼셉트론이란?
1957년 코넬 항공 연구소의 프랑크 로젠블라트는 이진 분류 문제에서 최적의 가중치를 학습하는 알고리즘을 발표했다
이것이 퍼셉트론이다.
선형 회귀와 유사하게 직선 방정식을 사용한다. 하지만 퍼셉트론은 마지막 단 게에서 샘플을 이진 분류하기 위하여
계단 함수를 사용한다.
계단 함수를 통과한 값을 다시 가중치와 절편을 업데이트하는 데 사용한다.
위 구조를 방정식으로 표현하면 w1x1 + w2x2 + b = z이다.
z가 0보다 크거나 같으면 1로, 0보다 작으면 -1로 분류한다. 이때 1로 분류되는 걸 양성 클래스, -1을 음성 클래스라고 한다.
아달린
퍼셉트론에서 조금 더 개선한 적응형 선형 뉴런을 발표했다. 이것이 아달린이다.
아달린의 구조는 다음과 같다.
역방향 계산이 계단 함수 출력 이후에 일어나지 않고 선형 함수 출력 이후에 진행되는 점을 주목하면 된다.
로지스틱 회귀
퍼셉트론과 아달린을 가지고 더 개선한 모델이 로지스틱 회귀이다.
선형 함수를 통과시켜 얻은 z를 임계 함수(계단 함수)에 보내기 전에 변형시키는데,
이 함수를 활성화 함수라고 한다. 활성화 함수를 통과하여 얻은 값을 가지고 역방향 계산을 한다.
이때, 활성화 함수는 비선형 함수를 사용한다. 그 이유는 활성화 함수를 선형 함수로 설정하게 되면 선형 함수의 k배를 한 꼴이 나오기 때문에 활성화 함수를 적용하는 것이 의미가 없어진다.
아래는 활성화 함수의 예이다.
로지스틱 회귀의 사용되는 활성화 함수는 시그모이드(sigmoid)이다.
