CH02-02. Linear Regression 심화

목표

 

1. Multivariate Regression
2. Polynomial Regression
3. 회귀계수를계산하는방법

 

다변량회귀(Multivariate Regression)의 정의
두개 이상의 변수로 만든 회귀식

 

 

다변량 회귀 수식

- 변수가 2개인 경우

- 변수가 여러개인 경우
-> 행렬로 표시

 

 

Multivariate Regression  해석

 

 

다항식회귀(Polynomial Regression)
예측하는 값이 선형이 아닌 비선형일 경우 사용

 

 

 

다항식 회귀 VS 다변량 회귀

 

 

 

다항식회귀(Polynomial Regression) 비선형을 표현 하는법

 

Step 1) 비선형회귀식

 

 

Step 2) 완전 제곱식으로 표현

 

 

Step 3) x가 0이상인 경우 비선형이 된다

 

 

 

다항식회귀(Polynomial Regression)  계수에 따른 모습

 

 

 

 

회귀계수를 계산하는 방법
1. 통계적방법
2. ML 방법

 

통계적 방법 - 최소 제곱법

 

 

 

 

 

 

 

ML방법 

여러값을 넣어본 뒤 loss(MSE)가 제일 작은 𝜷 를 찾는다.

-> 어떻게하면 효율적으로 여러 값을 넣을까?

-> 최적화 알고리즘

 

최적화 알고리즘 종류

 

1. Bisection Method
2. Gradient Descent

 

Bisection Method 방법
1. 임의의 두개의 값을 설정한다
2. 두값의 y 값을 비교한다
3. y값이 큰점을 두점의 가운데 점으로 바꾼다
4. 임의의 두값의 차이가 작아질 때까지 1~3을 반복한다

 

 

 

Bisection Method 예시

 

 

 

 

 

 

 

Gradient Descent (경사하강법)의 정의

 

함수의 기울기(경사)를 구하고 경사의 절댓값이 낮은 쪽으로 계속 이동시켜 극값에 이를때까지 반복시키는 것

 

 

Gradient Descent 방법

1. 임의의 값 하나를 설정한다
2. 임의의 값에서의 기울기를 계산한다
3. 기울기와 Learning rate를 곱한값을 임의의 값에서 뺀다
4. 기울기가 0에 가까워질 때까지 1~3을 반복한다

 

Gradient Descent 예시