DM) Lecture 2: Regression

머신러닝은 마치 멀리서 봤을때는 매우 신비하고 재미있는 녀석이지만 속을 파보면 꽈져있고 통계학이라고 해도 무방한 느낌. Week3 에 접어들었는데 week2부터 좀 정리를 해놔야 따라갈듯! 나무를 일단 그리자.

 

Objectives:

[1]Regression algorithms for value prediction

[2]General techniques on how they work and how to tune their parameters

[3]normal Equation and gradient Decent algorithm

[4] Regularisation

 

 

=>  즉 ' 저 파란색 데이터들을 가지고 경향성을 파악하고 이를 바탕으로 어떻게 최적의 모델(type) 을 골라서 저기 없는 데이터들을 예측(prediction) 할 수 있느냐가 머신러닝의 기본이 된다. 

 

Regression이란 수학용법으로 모든 데이터들의 경향성을 잘 나타내는것을 찾게되는데 이때 linear regression의 파라미터를 찾는 법은 

 

1)Exhaustive Search :하나하나 노가다로 다 찾는법

2)Normal Equation: 저 데이터들로 방정식을 푸는건데 overfiting(과도하게 데이터들의 경향성을 다 따라갈려다 구불구불해지는 문제) 가 발생할 수 있다.

3) GDA(Gradient Descent Algorithm)(너무 유명해서... 이게 가장 대세다) : 경사하강 기법으로 최적의 파라미터(모델을 잘 표현할 수 있는) 를 빠르게 찾는법. 어떻게 저 낮은 곧을 빠르게 찾아가는게 머신러닝 공부의 핵심인듯.

 

Gradient Descent Algorithm 대표 이미지.

 

[2] 이제 여기서 GDA의 각 Properties를 설명을 해야하는데 스킵. 여러 특성들의 경향성은 외워야할뿐... 어질어질. 대략 아래 식으로 설명한다.

 

cost function

[3] GDA의 종류는 크게 2가지가있다 . 요렇게 batch와 stochastic 이 있으며 batch 는 브루트포스처럼 정직하게~ 찾아가는 방법이고 sto은 a* 처럼 huristic 한 방법으로 경로를 랜덤하게 해서 찾아버린다. ( path planning 느낌이 오는데???)

 

[4] Regularizing regression model에 대해서 설명할차례인데 Regularization 의 의미는 정형화 , 좀 심플하게 모델을 만들어 overfitting(구불구불 모델)을 방지한다. 어떤 느낌이냐면 GDA알고리즘을 사용해 모델을 구했는데 이를 좀더 Flat (간단)하게 만든다. Regularization 의 종류는 크게 3가지인데 Ridge regression ,Lasso Regression ,Elastic net이 있다. 여기서 Ridge가 디폴트 느낌으로 많이 사용되고있다.

 

위를 예로 a ( Regularization 파라미터의 한종류) 가 높아질 수록  파란색선으로부터 빨간색 선( flat한 경향)처럼 심플해진다. Matlab으로 하는것도 꾀많은데 어떻게 구현되는지 차근차근 봐야할 것 같다... 첫 정리 꿑