2020-07-26

2020-07-26

• 지난 시간에는 최적화 기본 개념부터 경사 하강, 직선 탐색, 켤래 경사 방법까지 기초적인 최적화 알고리즘들을 넓게 훑어보고 간단한 예제를 통해 하강 방향으로 일정한 보폭 크기 혹은 직선 탐색으로 구한 보폭 크기로 최소자에 수렴하는 과정을 살펴보았습니다. 이후 켤래 경사 방법부터는 처음 최적화에 대해서 공부하는 만큼 자세하게 다루기는 시간도 부족하고 어렵기 때문에 가능한 얕게 살펴보았으며, 기본적인 경사 하강 방법과 켤래 경사 방법의 차이를 비교하면서 어제 학습을 마무리 하였습니다.오늘은 뉴턴 방법부터 라그랑주 승수법을 이용한 최적화 알고리즘 전반에 대해서 간단히 살펴볼 것이고 이에 앞서 고유치 고유벡터에 잠시 살펴본 후, 마지막으로 앞으로 어떻게 학습해 나갈지 정리하였습니다.
• 우선 선형대수, 최적화, 영상 처리, 인공 지능 등의 수많은 학문들을 공부할 때마다 고유치와 고유벡터라는 개념에 대해서 잠깐잠깐 보곤 했었습니다. 하지만 이 개념에 대한 정의는 알고 있지만 의미와 어떻게 활용되는지 까지는 그다지 깊이있게 학습하지 않았고 또 잊고 있었습니다. 그래서 이번 시간에 잠시 고유치와 고유벡터에 대해 간단히 살펴보았습니다. 특히나 이 개념들은 영상 처리에서 자주 사용되며, 여기서 말하는 고유라는 단어는 독일어로 영어로 바꾸면 특성이라는 말로 바꿀수 있다고 합니다. 그래서 고유치와 고유행렬은 주어진 행렬 A의 특성을 나타내는 수라고 할수 있으며, 영상 처리 분야에서 고유 벡터는 영상이 변환되어도 변하지 않는 방향, 그리고 고유 치는 영상의 크기의 배수 혹은 반대를 나타내는 수라고 합니다. 이렇게 복습함으로서 이전에도 조금씩 조금씩 보았던 내용이지만 조금 더 확실히 정리 할 수 있었습니다.
• 뉴턴 방법은 경사 하강과 별개의 최적화 알고리즘으로 경사 하강 방법이 보폭 크기에 따라 최소자까지 여러번 반복하여 수렴한다면, 뉴턴 방법은 태일러 급수를 2차까지 전개한 식을 뉴턴 함수 L(h)로 하여, 변수 h를 최소로 만들어야 합니다. 여기서 h가 뉴턴 방법의 해라고 할수 있겠습니다. 이 방법에서는 그라디언트 벡터로 양의 확정 행렬 Hf(x, y)를 구하고, 이와 다른 값들을 조합하여 뉴턴 방법의 해인 h를 구하게 됩니다. 여기서 구한 h로 여러차례 반복 없이 한번에 최소자로 이동하게 되며, 경사하강법과의 차이라고 할수 있겠습니다.
• 레벤버그 마쿼트 감쇄 뉴턴 방법은 LM 방법이라고 부르며, 기존의 뉴턴 방법에 감쇄 인자 mu를 추가시킨 방법입니다. 여기서 감쇄 인자는 이득 비율에 따라 커지거나 줄여 최소자에 멀면 mu은 줄어 빠르게 수렴하고, 최소자에 가까워지면 감쇄 인자 mu가 커지게 됩니다. LM 뉴턴 방법의 식 유도 과정과 의사 코드를 통해 어떻게 최적화 알고리즘이 감쇄 속도를 조절하면서 초소자에 수렴해나가는지 이해할 수 있었습니다. 또한 이러한 LM 뉴턴 방법에서 매 반복마다 헤시안 행렬이 계산되는 문제가 있어 여기서 근사화된 양의 확정행렬 B를 이용하는 쿼시 뉴턴 방법에 대해서 간단하게 살펴보았습니다.
• 이전까지는 f:R^n -> R인 경우를 다루었으나 f:R^n -> R^m인 비선형 시스템에서 최적화를 수행하기 위한 대표적인 방법인 비선형 최소 자승법에 대해서 알아보면서, 왜 제곱을 사용하는지와 근사해를 구하기 위한 식을 정리하고, 여기서 근사해 최소자를 구하기 위해 경사 하강법이나 뉴턴 방법이 사용되는것을 알수 있었습니다.
• 이러한 비선형 최소 자승법의 최소자를 구하기 위한 대표적인 방법으로 LM 방법이 있었는데, 이에 앞서 LM방법의 기반이 되는 가우스 뉴턴 방법에 대해서 살펴보았습니다. 가우스 뉴턴 방법은 함수 f를 2차 태일러 전개를 수행하고 이에 대한 근사식을 구하였는데 결과적으로 L(h)가 최소로 만드는 가우스 뉴턴 해 h_gn를 구하는 방법이고, 이 과정을 간단하게 정리하였습니다. 다음으로 LM 방법에 대해서 살펴보았는데, 이 방법은 가우스 뉴턴 방법에 이전에 봤던 데로 감쇄 인자 mu를 추가한 것이라 할수 있었습니다. 감쇄 인자의 크기에 따라 레벤버그 마퀴트 해 h_lm의 변화와 이득 비율 rho를 구하는 과정 그리고, 반복 정지 조건 eta값이 어떻게 정의 되는지 등을 살펴보면서 LM 방법 전반에 대해서 살펴보았습니다.
• 이번 시간에는 다양한 최적화 알고리즘들을 살펴보면서 세세한 증명과정까지는 아니지만 선형 시스템, 비선형 시스템에서 사용가능한 각 최적화 기법들의 특징들과 식 유도 과정을 간단하게 살펴보았습니다. 이 과정에서 중간 중간에 이전에 영상 처리나 패턴 인식을 할때 잠깐 봤던 개념들을 이제서야 이해할수 있었습니다. 당시에는 공업수학이나 최적화에 대한 이해도가 전혀 없었기 때문에 무슨말인지 알수 없었지만 이렇게 최적화에 대해서 알아 본 다음 다시 시도해보면 훨신 수월하게 공부할수 있을것 같습니다. 다음 시간부터는 영상 처리를 다시 복습해볼 예정입니다.