728x90
비선형 최소자승법 non-linear least squares 개요
- 앞서 살펴본 경사 하강법과 뉴턴 방법의 함수는 다음과 같음
- 아래의 함수 f인 다변수 함수에서는 어떻게 최소자로 찾아갈까?
다변수 함수 지역선형성 local linear
- 다음의 다변수 함수가 있을때
- 미분 가능 함수는 지역 선형으로, 자코비안 J(x)와 극소 증감벡터 h가 주어질때 아래와 같다.
국소 증감 벡터 h에 대한 식으로 정리하기
- 초기값 x0, 종료조건 eta0 등 아래의 조건이 주어질때
- h에 대해 정리하면
=> 정규 방정식 normal equation으로 구할 수 있음
정규 방정식으로 선형 최소 자승 구하기
- 선형 시스템 Ax = b가 주어질때 ||Ax - b||를 최소로 하는 벡터 x를 구하려면
=> 최소(0)인 x를 구하기 위해선 Ax - b와 A의 전치행렬에 직교해야함
- 아래와 같이 정규 방정식으로 정리할 수 있음
- 정규방정식의 좌항에 역행렬이 존재하면
- 우리의 경우. 다음의 값을 최소로 하는 지역 증감 벡터 h를 구해야하는데
- 이를 정규 방정식으로 정리하면
300x250
'수학 > 선형대수, 최적화' 카테고리의 다른 글
최적화 - 17. 가우스 뉴턴 방법 (0) | 2020.07.26 |
---|---|
최적화 - 16. 비선형 최소자승법 (0) | 2020.07.26 |
최적화 - 14. 쿼시 뉴턴 방법 (0) | 2020.07.26 |
최적화 - 13. 레벤버그 마쿼트 감쇄 뉴턴 방법 (0) | 2020.07.26 |
최적화 - 12. 뉴턴 방법 (0) | 2020.07.26 |