[머신러닝 reboot] 단순 선형 회귀 분석 - 정규방정식 도출하기

인공지능 공부해보겠다고 설레발치기 시작한 것이 어언 2년여가 다되간다.

그간 나름 책도 좀 보고 동영상 강좌도 좀 보고...페이퍼나 논문은 하나도 안보고...ㅠ.ㅠ

그간 읽은 책들과 읽는 중인 책 그리고 읽기 위해 사놓은 책을 좀 정리해보면

읽은 책

•텐서플로우 첫걸음

•골빈해커의3분 딥러닝

•머신러닝 워크북

•밑바닥부터 시작하는 딥러닝

읽는 중인 책

•핸즈 온 머신러닝

•머신러닝 탐구생활

읽다가 보류한 책

•강화학습 첫걸음

•기초 수학으로 이해하는 머신러닝 알고리즘

•처음 배우는 딥러닝 수학

•프로그래머를 위한 선형대수

사놓기만 한 책

•머신러닝 실무 프로젝트

•딥러닝의 정석

•러닝 텐서플로우

•머신러닝 딥러닝 실전 개발 입문

하지만 공부를 해 가면 해 갈수록 궁금한 것은 더 많아지고 이제는 과연 내가 뭔가를 이해 하고는 있는 건가 하는 생각에

자괴감이 들기 시작했다. 똑같은 내용을 공부하고 있는데 볼수록 새로운 느낌?

결국 자괴감을 이기지 못하고 처음부터 다시 시작하는 길을 선택했다. 처음 시작부터 이해하지 못하고 넘어간 부분들을

차근차근 정리하고, 이해하고 넘어가야 할 것 같아서...(그런 의미에서 현재 읽고있는 2권의 책은 꽤 도움이 되는 것 같다)

특히나 전반적으로 내용을 이해하지 못하게 하는 주된 이유 중 하나가 어려운 용어들과 복잡한 공식들이기도 하고 

머신러닝의 기초가 되는 선형 회귀 등을 제대로 이해하지 않고 겁대가리 없이 덥썩 딥러닝으로 직행한 무모함도 충분히 

일조를 했기에 다시 처음부터 하나 하나를 정리하는 것으로부터 시작하기로 했다. 그리고 

패배적인 자기 만족일지는 모르겠으나 어차피 이 공부는 내가 이 분야의 전문가가 되기 위한 것이라기 보다는 나의 지적 만족을

위한 것이니 쉬엄쉬엄 간들 어떠랴 싶다. 태공망 여상은 나이 80에 주문왕을 만나 그 재능을 펼치기 시작했다는데 그렇다면

나에게는 아직 30년이란 시간이 남은 것 아닌가(뜻밖의 나이 공개가...ㅠ.ㅠ)

느려도 황소 걸음이랬으니 차분하게 한걸음 한걸음 가보자.

그 시작은 정규 방정식이다.

정규방정식

사실 그동안 비용함수를 최소화 하는 가중치를 찾기 위한 방법으로 경사하강법만을 알고 있었는데 이번에 핸즈 온 머신러닝을

읽으면서 처음 정규방정식이란 것이 있다는 것을 알게 되었다.

문제는 이 정규방적이라는 것이 행렬식으로 표현이 되어있어 문돌이의 사고방식으로는 이 것이 어떻게 경사하강법과 동일한

기능을 하게 되는지 이해가 가지 않는 것이었다. 그래서 새로운 시작의 첫 출발을 단순 선형회귀의 비용함수로부터 정규방정식을

도출하는 과정을 정리해보고자 한다.

선형 회귀 비용함수로부터 정규방정식 도출하기

복습

•선형회귀의 가설함수 식에서 편향을 제거하자. 방법은 그냥 b = 0으로 초기화 하는 것이다.

    •비용함수도 다시 한 번 확인하자.

사전 확인1 - ∑를 행렬로…

•∑ 로 표현되는 제곱의 합은 그 수들을 요소로 하는행렬과그 행렬의 전치행렬의 곱과 같다(복잡하니
1행짜리 행렬로 확인해보자).

사전 확인2–전치행렬의 성질

     •전치행렬은 다음과 같은 성질이 있다.

•우선 cost함수는 W에 대한 함수이므로 함수 표기를 바꿔보자(함수명MSE는 최소제곱법의 영문 표기인 Mean Square Error의 약어이다).

•이제 명확하게 이 함수는 x와 y에 대한 함수가 아니라 W에 대한 함수로 보일 것이다.

•함수는W에 대한 함수인데 정작 함수 식에는 W가 안보이니 내부 함수도 원래대로 치환하자.

•사전 확인한 내용을 상기하면서 ➀번 식으로 변환해보자

•전치행렬의 성질에 따라 ➁번 식으로 전개할 수 있다.

•W를 포함한 식들을 다시 정리하면 ➂번 식이 된다.

•다시 한 번 전치행렬의 성질에 따라 식을 전개하면 ➃번 식이 된다.

•이 변형은 최초의 시그마 식을 전개해서 진행해도 동일한 결과가 나온다.

•최종 정리된 식은 ➀과 같고 이제 이 값을 미분하여비용함수가 최솟값을 갖는 W를 찾을 것이다.

•비용함수가 최솟값을 갖기 위해서는 비용함수를 미분한 값이 0이 되어야 한다.

•미분 과정을 명확하게 하기 위해 식을 한 번 더정리해 주자(식 ➁).주의할 것은 W에 대해 미분한다는 점이다.

•행렬 A에 대해 자신과 자신의 전치행렬과의 곱은제곱과 같다고 했다.그리고 전치행렬의 성질에 따라W와 X의 곱의 전치행렬은 X의 전치행렬과 W의 전치행렬의 곱과 같다(W와 X의 순서가 바뀜에 주의).

•이제 거의 다 왔다.

•미분한 함수는 식 ➁와 같고 이제 

거추장스러운1/m도 없앨 수 

있다(사실 진작에 1/m을 없애고

보다 깔끔하게 식을 전개할 수도 

있었으나 나같은문돌이는 갑자기 

저런거 하나 없어져도 극도의

멘붕에 시달릴 수 있기에 끝까지 

가져왔다…-.-).

•최종 미분식을 W에 대해 정리해보자.

    •이렇게 해서 단순 선형 회귀의 비용함수로부터 정규방정식을 도출해보았다.

선형 회귀 비용함수로부터 정규방정식 도출하기2

•정규방정식은 다른 형태로도 

도출할 수 있다. 우선 최초의 

식을 전개해보자.

•이후 전개한 식을 W에 대해 미분한다.

•최종 정리한 후 시그마를 

행렬로 변환해보자

•하지만 아직 이해하지 못한 것이 하나 있다.

•가설함수에서 편향을 제거하지않고 WX + b의 형태로 이 과정을 진행하게 되면 최종 정규방정식은 좌측과 같이 나온다.이 것이 앞서 도출해본 정규방정식과 동일한 식이란 것을 문돌이의 두뇌로는 이해하기 힘들다…ㅠ.ㅠ (분모와 분자 각각 - 뒤에 붙어있는 값들은 대체 어쩔...ㅠ.ㅠ)

•일단 정규방정식은 좌측의 식으로 

알아두자

•정규방정식은 행렬식으로 경사

하강법에 비해 많은 연산량이 필요

하지도 않고 학습률 설정 등

골치아픈 하이퍼파라미터의 

설정을 신경쓰지 않아도 된다.

•하지만 행렬 연산이다보니 특성의 

수가 늘어나면 계산속도가 많이 

느려지게 된다.다만 샘플 수에 

대해서는 선형적으로 비례한다고 

한다.

•또한 정규방정식으로 학습된 선형 

모델은 예측이 매우 빠르다고 한다

(핸즈 온 머신러닝)

정리

이렇게 해서 새롭게 시작하는 인공지능 학습의 첫 단추를 꿰었다. 하지만 이렇게 차근차근 분석을 하면서도 여전히

어떤 부분에 대해서는 완전하게 이해하지 못한 채 그저 직관적인 이해로 두루뭉술하게 넘어가고 있는 상황이다.

사실 이러한 상태가 가장 환장하는 상태이다. 전체적인 흐름은 대충 이해가 가는데 어떤 디테일한 부분에서

뭔가 막혀있는 듯한 느낌...

첫 대상인 정규방정식도 정리를 하고 보니 아직은 부족한 상태라는 것을 알게 되었다.

이러한 과정이 큰 도움이 되는 것 같다.

아무튼 이번에는 용어 하나, 공식 하나도 집중해서 보면서 차근차근 진행을 해나가 보자. 

머신러닝 reboot는 이제 시작이다!