최적화 - 10. 직선 탐색

직선 탐색 알고리즘 line search algorithm

- 하강 방향 벡터 h를 구한 뒤, 하강 뱡향으로 얼마나 이동할지 보폭 크기 step size(alpha)를 결정하는 알고리즘

 

직선 탐색 알고리즘 예시

- 다음의 식과 초기값이 주어질 때

 

- 보폭 alpha에 대한 식 구하기

 

- alpha에 대한 그래프

 

 

- alpha = 0.5일때, x1 구하기

 

- x2에 대한 alpha 구하기

- x2 구하는데 필요한 alpha에 대한 그래프

- alpha = 1/10 일때, x2

 

=> 정리

 

 

직선 탐색 line search의 종류

1. 정확 직선 탐색 exact line search

 - 위 예시 처럼 x + alpha h에서 f(x)의 최소자 계산

2. 완만 직선 탐색 sort line search

 - f(x + alpha h) < f(x)를 만족하는 적당한 alpha를 선택하는 방법