ch.5.2 단순 선형 S회귀를 통한 회귀의 이해

RSS 기반의 회귀 오류 즉정

 

잔차 제곱합 (Residual Sum of Squares)

 

RSS - 오류 값의 제곱을 구해서 더하는 방식입니다. 일반적으로 미분 등의 계산을 편리하게 하기 위해서

RSS 방식으로 오류 합을 구합니다. 즉 Error2= RSS입니다.

 

RSS의 이해

 

• RSS 는 이제 변수가 W0, W1인 식으로 표현할 수 있으며, 이 RSS를 최소로 하는 W0, W1, 즉 회귀 계수를 학습을 통해서 찾는 것이 머신러닝 기반 회귀의 핵심 사항입니다.
• RSS 는 회귀식의 독립변수 X, 종속변수, Y 가 중심 변수가 아니라 w변수 ( 회귀 계수 )가 중심 변수임을 인지하는 것이 매우 중요합니다. ( 학습 데이터로 입력되는 독립변수와 종속변수는 RSS에서 모두 상수로 간주합니다 ) 
• 일반적으로 RSS는 학습 데이터의 건수로 나누어서 다음과 같이 정규화된 식으로 표현됩니다.

 

 

RSS- 회귀의 비용함수

회귀의 비용 함수(Cost function) 

회귀에서 이 RSS는 비용(Cost) 이며 w변수(회귀 계수)로 구성되는 RSS를 비용 함수 라고 합니다. 머신러닝 회귀 알고리즘은 데이터를 계속 학습하면서 이 비용 함수가 반환하는 값(즉, 오류 값)을 지속해서 감소시키고 최종적으로는 더 이상 감소하지 않는 최소의 오류 값을 구하는 것(-> 최적의 머신러닝 모델)입니다 비용 함수를 손실함수(loss function) 라고도 합다.