최적화 - 1. 최적화와 관련 개념들

최적화 이론 optimization theory

- 아래와 같이 함수 f(x)가 주어질때, f(x)가 최소 값이 되는 x지점을 찾는 이론

- 하지만 함수가 복잡해지면, 해를 직접 구하기 힘듬

 => 초기값을 정하여 최소 지점으로 접근해나가는 방법으로 풀어나감

 

배워야 할 내용들

 

1. 선형 대수

 

2. 1변수 함수와 최대 최소 이론

 

3. 다변수 함수와 비용 함수 cost function + 테일러 전개(매우 중요)

 

4. 컨벡스 함수 convex funciton

 

5. 최적화 기법들

- gradient descent

- line search

- newton search ...

 

6. 라그랑주 승수법

 

 

*  기호