통계 - 2. 회귀분석

회귀분석 regression analysis

- 변수들간의 관계를 정리하여 모델링하는 통계 기법

 => 자연 과학, 사회과학에서 널리사용됨

- 수학적 모델을 가정하고, 실제 데이터로 모델을 추정하는 방법. 예측에 주로 사용

=> 표본을 잘 나타내는 적합한 근사 함수를 구할 수 있음

 * 근사 함수 : 회귀 직선, 회귀 곡선

 

 

 

 

 

선형 회귀 linear regression

- 회귀 직선 : 데이터를 가장 잘 수학적으로 모델링 하는 선

- 선형 회귀는 샘플 데이터를 통해 이를 가장 잘 표현하는 회귀 직선을 구하는 과정

 

 

선형 회귀 모델의 종류

 

https://m.blog.naver.com/PostView.nhn?blogId=istech7&logNo=50152984368&proxyReferer=https:%2F%2Fwww.google.com%2F

 

 

 

최소 자승법 Method of Least Mean Square 

- 샘플 데이터와 임의의 직선의 제곱 오차를 최소로하는 직선을 구하는 방법

1. 아래의 직선을 가정

2. 데이터가 하나가 아니라 두개인 이변량인 경우 측정값은 아래와 같이 정리하자

 * 단변량 : 하나인경우 univariate,  이변량 bivariate : 두개인 경우,    다변량 multivariate : 여러개인 경우

3. 각 x의 값에 대한 y의 값들을 정리하면 아래와 같다.

4. 측정값 y_i와 위 직선과의 평균 제곱 오차 MSE Mean Squared Error는

 

5. MSE가 최소가 되는 alpha와 beta가 구하면 회귀 직선이 됨.

6. MSE를 alpha와 beta에 대해 편미분 하고, 0과 같다고 가정하여 각 변수에 대해 정리하면

 

 

 

회귀 곡선 regression curve(다항식 회귀? polynomial regression)

- 회귀 직선과 달리 1차식이 아니라 2차식으로 나타낸 회귀식

1. 아래와 같이 회귀 곡선 모델을 정의

2. 이에 대한 계수 a, b, c는 평균 제곱 오차를 최소화하도록 아래와 같이 정리할수 있음

- 아래는 회귀 곡선을 구하는 다항식 회귀 예시