ch.5.1 회귀 소개

분류 (Classification)와 회귀(Regression)

회귀 소개

회귀는 현대통계학을 이루는 큰 축
회귀 분석은 유전적 특성을 연구하던 영국의 통계학자 갈톤 (Gaitan)이 수행한 연구에서 유래했다는 것이 일반론

 

‘‘ 부모의 키가 크더라도 자식의 키가 대를 이어 무한정 커지지 않으며 , 부모의 키가
작더라도 대를 이어 자식의 키가 무한정 작아지지 않는다"

회귀 분석은 이저럼 데이터 값이 평균과 같은 일정한 값으로 돌아가려는 경향을 이용한 통계학 기법입니다

 

 

회귀 (Regression) 개요

회귀는 여러개의 독립 변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 통칭합니다.

 

 

회귀의 유형

• 일반 선형 회귀: 예측값과 실제 값의 RSS (Residual Sum of Squares) 를 죄소화할 수 있도록 회귀 계수를
  죄적화하며, 규제 (Regularization)를 적용하지 않은 모델입 니다.
• 릿지 (Ridge) : 릿지 회귀는 선형 회귀에 L2 규제를 주가한 회귀 모델입니다.
• 라쏘(Lasso) : 라쏘 회귀는 선형 회귀에 L1 규제를 적용한 방식입니다.
• 엘라스틱 넷(ElasticNet): L2, Ll 규제튿 함께 결합한 모델입니다.
• 로지스틱 회귀 (Logistic Regression): 로지스틱 회귀는 회귀라는 이름이 붙어 있지만, 사실은 분류에 사용되는 선형 모델입니다.

 

단순 선형회귀(Simple Regression) 를 통한 회귀의 이해

주택 가격이 주택의 크기로만 결정 되는 단순 선형 회귀로 가정하면 다음과 같이 주택 가격은 주택 크기에 대해 선형(직선 형태)의 관계로 표현할 수 있습니다.