로지스틱 회귀 logistic regression

이진 분류 시 사용하는 회귀 알고리즘.
각 피쳐들의 계수 log-odds 를 수한 후 시그모이드 함수를 적용하여 확률을 0~1 값으로 나타내서 분류 작업을 한다. 

시그모이드 함수

출력결과가 항상 0에서 1사이 값이 되는 s 커브 함수
$$ y=\cfrac{1}{1+e^{-x}} $$

승산(Odds)

사건 A가 발생하지 않을 확률 대비 일어날 확률의 비율
Odds = P(A) / 1 - P(A)
P(A)가 1에 가까울수록 odds비는 양의 무한대로 발산, P(A)가 0이라면 0 (지수함수 그래프 같은 형태)

이항 로지스틱 회귀

분류문제를 풀기위해 연속형 변수인 y를 확률로 두고 식을 세워보기

• 확률은 0~1 범위이나 회귀식은 음의 무한대에서 양의 무한대 범위를 가지기 때문에 식이 성립하지 않음
• 확률을 승산(odds)으로 설정 후 로그를 취함 (로그 오즈 = logit(p))
• 음의 무한대에서 양의 무한대로 범위가 변경되서 식 성립 > 시그모이드 함수!
• 직선을 시그모이드 함수로 곡선으로 변형 후 다시 logit으로 직선으로 변형

x 값 입력시 범주 1에 속할 확률을 반환 해주므로 이진 분류에 사용