파이썬머신러닝 - 20. 다항 회귀

다항 회귀 polynomial regression

- 기존의 일차식으로 이뤄진 선형 회귀와는 달리, 다차항을 가진 선형 회귀 모델

- 위 경우 독립 변수를 z_i로 정리 하여 다음과 같은 선형 회귀 형태로 만들 수 있음.

 

 

 

 

 

다항 회귀를 위한 일차식에서 다항식으로 변환

- sklearn에서 다항 회귀 모델을 제공하지 않음

- preprocessing.PolynomialFeatures로 단항 특징들을 다항식으로 변환 수행

- x1을 이용한 1/2차식, x1과 x2를 이용한 2차식

- x1 = 0, x=1인 경우와 x1=2, x2=3인 경우의 2차식의 계수피처

 

 

다항 회귀

- 간단한 3차식 결과를 반환하는 함수 정의

- X, y 값 준비

- X를 3차식 계수로 변환, 아까 구한 y로 선형 회귀 모델 적합시킴

 

 

 

 

 

쉬운 문제로 다시 정리해보기

 

 위 예제는 입력 형태가 2 x 2로 각 입력 1 x 2에 대해 출력 y가 1 x 2 형태로 나오는데

 

다시 말하면 한번에 입력이 2개 들어가고 출력이 2개씩 나오는 이유로

 

회귀 계수들이 1개가 아니라 2개씩 나오게 된다.

 

한번에 2개의 값을 회귀하는 문제라고 할수 있겠다.

 

조금 더 이해하기 쉽게 용어랑 문제를 수정해보겠다.

 

 

 

 

1. 다항식과 훈련 데이터, 결과 데이터 정의

- y = x**2 다항 회귀 문제를 다뤄보자.

 

 

2. X_train을 2차식으로 변환

 

 

 

3. 주어진 2차식 X값들(Z)에 대해 다항 회귀 적합

- 회귀 계수 beta = [0, 0, 1]으로 결과는 아래와 같음

 

4. 시험 데이터로 다항 회귀 모델이 잘 적합 되었는지 확인하기.

- x= -3, -2.3, -1.85를 2차식 형태의 입력으로 변환

- 회귀 모델로 예측한 결과가 실제 결과와 동일함.

 

 

 

 

 

 

3차 다항 회귀 모델

- 다음 다항 회귀 모델 적합하기

- error = N(0, 0.8)

 

- sample = 60인 경우 구한 다항 선형 회귀 모델