로지스틱 회귀 비용함수로부터 Cross-entropy 도출하기

로지스틱 회귀 비용함수로부터 Cross-entropy 도출하기

원래 지난 번 포스팅에서 cross-entropy까지 언급하기로 했었는데 정신없이 정리하다보니 이 부분이 누락되어
로지스틱회귀의 비용함수만 언급하고 지나가버렸다. 그래서 이번 포스팅에서는 간단하게 로지스틱회귀 비용함수 식이cross-entropy 식으로 변형되는 과정을 간단하게 알아보도록 하겠다.

로지스틱회귀 비용함수 복습

수차례 반복되었지만 로지스틱회귀 비용함수 식은 아래와 같다.

김성훈 교수님의 강좌에도 나오지만 이 식은 결국 다항로지스틱회귀의 비용함수인 cross-entropy와 동일한 식이다.
뭐 수학이나 공학을 전공한 사람들은 금방 알 수 있겠지만 우리 문돌이들은 두드러기가 생길 문제이므로 간단하게
풀어보도록 하겠다.

cross-entropy 도출

우선 로지스틱회귀 비용함수를 조금 변형해보자.

맞는가? 그렇다면 이번에는 우리 문돌이를 종종 미궁에 빠뜨리는 치환이다. y를 p1, H(x)를 q1, y-1을 p2, 1-H(x)를 q2로
치환해보자 그러면 식은 다음과 같이 표현할 수 있다.

이 식은 다시 다음과 같이 변형이 가능하고…

위 식을 일반화 하면 최종적으로 다음과 같은 식이 나오는데 이 식이 바로 Cross-entropy 식이다.

아마도 제대로 된 cross-entropy의 개념은 이보다 더 깊은 의미가 있고 식의 도출도 더 복잡하겠지만 문돌이가
이해하기에는 이정도가 딱인 듯싶다.

정리

이번 글은 개인적으로 수학적인 내용에 대한 최종 정리의 의미를 가지고 있다. 더이상 수학적인 공부를 하지 않겠다는
의미가 아니라 수학적인 공부는 계속 하되 가급적이면 필요 이상의 상세한 내용은 피하겠다는 의미이다. 지난 몇주간
회사 일도 바쁘고 집에도 좀 복잡한 문제가 있어 공부를 제대로 못했다. 이제 본격적으로 텐서플로우에 대한 내용에
집중해서 공부를 좀 해보자~!