최적화 - 15. 비선형 최소자승법 개요

비선형 최소자승법 non-linear least squares 개요

- 앞서 살펴본 경사 하강법과 뉴턴 방법의 함수는 다음과 같음

 

- 아래의 함수 f인 다변수 함수에서는 어떻게 최소자로 찾아갈까?

 

 

다변수 함수 지역선형성 local linear

- 다음의 다변수 함수가 있을때

- 미분 가능 함수는 지역 선형으로, 자코비안 J(x)와 극소 증감벡터 h가 주어질때 아래와 같다.

 

 

국소 증감 벡터 h에 대한 식으로 정리하기

- 초기값 x0, 종료조건 eta0 등 아래의 조건이 주어질때

- h에 대해 정리하면

 => 정규 방정식 normal equation으로 구할 수 있음

 

 

정규 방정식으로 선형 최소 자승 구하기

- 선형 시스템 Ax = b가 주어질때 ||Ax - b||를 최소로 하는 벡터 x를 구하려면

 => 최소(0)인 x를 구하기 위해선 Ax - b와 A의 전치행렬에 직교해야함

- 아래와 같이 정규 방정식으로 정리할 수 있음

- 정규방정식의 좌항에 역행렬이 존재하면

- 우리의 경우. 다음의 값을 최소로 하는 지역 증감 벡터 h를 구해야하는데

- 이를 정규 방정식으로 정리하면