집밖은 위험해

 최적화의 기본 개념

- 특정 데이터가 주어질때, 이로 부터 필요한 값들을 추출이 필요

 ex. 컴퓨터 비전, 머신러닝

- 목적 함수 objective function or 비용 함수 cost function : 이 값들을 구하기 위한 함수

최적화란?

- 목적 함수를 이용하여 f(x*) <= f(x)인 x*를 찾는 일

목적 함수의 판별 어려움

- 목적 함수로 구한 최소자가 전역 최소자인지, 목적 최소자인지 판별하기 힘듬

최소자를 찾는 방법

- 초기 지점 x0를 설정하고 초기 지점 보다 낮은 x1을 반복해서 찾음

- 하강방향 설정 -> 다음 지점 선택 -> 반복

=> 지역 최소자를 찾음

목적함수, 최소자 정리

최적화 방법들

1. 경사 하강법 gradient descent

2. 직선 탐색 line search

3. 황금 분할 탐색 gloden section search

4. 뉴턴 방법

5. 비선형 최소 자승 방법

6. 라그랑주 승수를 이용한 최적화

최소자 minimizer

- 전역 최소자 global minimizer : 함수 f : D -> R이 주어질 때, f(x*) <= f(x)인 x*

- 전역 최솟값 global minimum : 전역에대한 f(x*)

- 지역 최소자 local minimizer : 일부 구간에서 지역 최소값을 구하는 x*

- 지역 최소값 local minimum : 일부 지역에 대한 f(x*)

개구간과 폐구간

- 개구간 open interval : 초과, 미만 -> (a, b) 두 점 a, b를 포함하지 않는 사이 구간

- 폐구간 closed interval : 이상, 이하 -> [a, b] 두 점 a, b를 포함하는 구간 

컨벡스 집합 convex set

- K에 속하는 폐구간 집합

컨벡스 함수 convex function

- 컨벡스 집합 K가 주어질때 함수 f: K -> R이 아래의 조건을 따르는 함수

방향 미분 direction derivative

- 함수 f가 주어질때 하나의 방향에 대한 미분

다변수 함수에서의 평균값 정리

n차원 벡터공간에서 1차원 벡터공간에 대한 다변수 함수의 2차 테일러 급수 정리

- 연속적인 테일러 전개가 가능

m차원 벡터공간에서 n차워 벡터공간으로의 다변수 함수의 테일러 급수 정리

- n -> 1 벡터 공간과 달리 1차 테일러 전개만 가능

레벨 집합 level set

- n차원 벡터공간의 함수 f(x)가 c와 같을때에 대한 x 집합

- 벡터 공간이 2차원인 경우 레벨 집합은 등고선이 됨

곡선함수와 접선 벡터, 그라디언트

- 곡선 함수 alpha는 레벨 집합의 한 원소

- 법선 벡터 tangent vector : t0에서의 곡선 함수의 미분

- 그라디언트 벡터와 법선 벡터의 관계 : 항상 수직임

벡터와 델 연산자의 내적

- 다음과 같이 벡터와 델 연산자가 주어질 때 

- 내적과 내적의 n승은 다음과 같다.

미분의 내적

- 내적의 미분을 정리하면 다음과 같다.

- 아래의 예시의 경우 행렬 형태로 구하면

헤시안 행렬 hessian matrix

기울기 벡터(그라디언트) gradient vector

- 다변수 함수에 각 변수들에 대한 편미분

자코비안 행렬 Jacobian matrix

- 아래와 같이 다변수 함수들이 주어질때

- 다변수 함수들의 변수들에 대한 편미분들의 모음 -> 자코비안

다변수 함수 multi variable function

- 독립 변수가 한개인 일변수 함수와 달리 독립 변수가 여러개 존재하는 함수

함수

- 하나 또는 여러개의 정의역 원소 (독립변수)가 하나의 공역 원소(종속변수)에 대응하는 관계

이차 형식 quadratic form

- 중간에 행렬과 앞 뒤로 두 벡터의 곱으로 이루어진 함수 형태

- 3변수, ..., n 변수 함수도 이차 형식으로 표현 가능

다변수 함수의 의미

- 다변수 함수는 보통 다음의 형태가 됨.

편미분 partial deriavative

- 1변수에서의 미분인 상미분과는 달리, 다변수 함수에서 한 변수에 대한 부분(partial)적인 미분이라 할 수 있다.

전미분 total derivative

- 함수의 모든 변수에 대한 편미분과 미소 증분의 곱들의 합

미분(도함수) derivative

- 함수 f : (a, b) -> R이 주어질때 아래의 극한값

상미분 ordinary derivative

- 일변수 함수의 미분

고차 미분 high order derivative

- 함수 f(x)가 주어질때 여러번 미분한 것

평균값 정리 mean value theorem

- 구간 [a, b]에서 미분 가능한 함수 f(x)가 존재할때, 그 사이에서의 기울기 값들도 존재

테일러 급수 talyor series

- 함수 f(x)가 주어질 때, x*에서 미분 가능한 경우 무한 다항식의 합으로 정리할수 있음

 * 거듭 제곱 급수를 정리하여 구할 수 있음.

용어 정리

- 최소자 minmizer : f(x)를  최소로 하는 x

- 최소값 minimum : 최소인 f(x)

- 임계지점 critical point : f'(x) = 0인 지점 -> 임계점에서 함수 f(x)는 최소값 or 최대값이 됨

- 전역 최소자 global minimizer : 모든 범위에서의 최소값

- 지역 최소자 local minimizer : 일부 구간에서의 최솟값

행렬 matrix

- 수 들의 m 행 n 열 모임

전치 행렬 transpoise matrix

- 행렬 A의 (i, j)성분들을 (j, i)성분으로 바꾼 행렬

대각 행렬 diagonal matrix

- 주 대각 성분 principal diagonal component 이외의 모든 성분들이 0 인 행렬

단위 행렬 identity matrix

- 주 대각 성분이 1인 대각 행렬들

대칭 행렬 symmetric matrix

- 행렬 A가 A의 전치행렬과 같은 경우

교대 행렬 antisymmetric matrix

- 행렬 A가 A의 전치 행렬에 -를 곱한 것과 동일한 경우. 행렬 A는 교대 행렬

양 확정 행렬과 양 세미확정 행렬

- 대칭 행렬 A가 주어질때, 모든 n차원 벡터에서

- 다음 과 같은 경우 행렬 A는 양 확정 행렬 positive deifinite matrix

- 아래와 같은 경우 행렬 A는 양 세미확정 행렬 positive semidefinite matrix

역행렬과 특이행렬

- 행렬 A가 주어질때, AB = I를 만족하는 행렬 B가 존재하는 경우

- 정칙행렬 비특이행렬 nonsingular matrix : 행렬 A

- 역행렬 inverse matrix : 행렬 B

+ 비 정칙 행렬, 특이 행렬 singular matirx : 정칙 행렬이 아닌 행렬. 즉, 역행렬이 존재하지 않는 행렬

행렬의 랭크

- 선형 독립인 벡터의 개수

- 행렬 A의 벡터 2개가 선형 독립이라면 -> rank(A) = 2

- 행렬 A의 벡터 5개가 선형 독립이라면 -> rank(A) = 5

최적화 이론 optimization theory

- 아래와 같이 함수 f(x)가 주어질때, f(x)가 최소 값이 되는 x지점을 찾는 이론

- 하지만 함수가 복잡해지면, 해를 직접 구하기 힘듬

 => 초기값을 정하여 최소 지점으로 접근해나가는 방법으로 풀어나감

배워야 할 내용들

1. 선형 대수

2. 1변수 함수와 최대 최소 이론

3. 다변수 함수와 비용 함수 cost function + 테일러 전개(매우 중요)

4. 컨벡스 함수 convex funciton

5. 최적화 기법들

- gradient descent

- line search

- newton search ...

6. 라그랑주 승수법

*  기호