ch.5.8 회귀 트리

회귀 트리 개요

• 사이킷런의 결정 트리 및 결정 트리 기반의 앙상블 알고리즘은 분류 뿐만 아니라 회귀도 가능합니다.
• 이는 트리가 CART(Classification and Regression Tree)를 기반으로 만들어 졌기 때문입니다. CART는 분류 뿐만 아니라 회귀도 가능한 트리 분할 알고리즘입니다.
• CART 회귀 트리는 분류와 유사하게 분할을 하며, 분할 기준은 RSS(SSE)가 최소가될 수 있는 기준을 아서 분할 됩니다.
• 최종 분할이 완료 된 후에 각 분할 영역에 있는 데이터 결정값들의 평균 값으로 학습/예측합니다.

 

회귀 트리 프로세스

사이킷런의 회귀 트리 지원

 

.

회귀 트리의 오버 피팅

회귀 트리 역시 복잡한 트리 구조를 가질 경우 오버 피팅하기 쉬우므로 트리의 크기와 노드 개수의 제한 등의 방법을 통해 오버 피팅을 개선 할 수 있습니다.