행렬 matrix

- 수 들의 m 행 n 열 모임

전치 행렬 transpoise matrix

- 행렬 A의 (i, j)성분들을 (j, i)성분으로 바꾼 행렬

대각 행렬 diagonal matrix

- 주 대각 성분 principal diagonal component 이외의 모든 성분들이 0 인 행렬

단위 행렬 identity matrix

- 주 대각 성분이 1인 대각 행렬들

대칭 행렬 symmetric matrix

- 행렬 A가 A의 전치행렬과 같은 경우

교대 행렬 antisymmetric matrix

- 행렬 A가 A의 전치 행렬에 -를 곱한 것과 동일한 경우. 행렬 A는 교대 행렬

양 확정 행렬과 양 세미확정 행렬

- 대칭 행렬 A가 주어질때, 모든 n차원 벡터에서

- 다음 과 같은 경우 행렬 A는 양 확정 행렬 positive deifinite matrix

- 아래와 같은 경우 행렬 A는 양 세미확정 행렬 positive semidefinite matrix

역행렬과 특이행렬

- 행렬 A가 주어질때, AB = I를 만족하는 행렬 B가 존재하는 경우

- 정칙행렬 비특이행렬 nonsingular matrix : 행렬 A

- 역행렬 inverse matrix : 행렬 B

+ 비 정칙 행렬, 특이 행렬 singular matirx : 정칙 행렬이 아닌 행렬. 즉, 역행렬이 존재하지 않는 행렬

행렬의 랭크

- 선형 독립인 벡터의 개수

- 행렬 A의 벡터 2개가 선형 독립이라면 -> rank(A) = 2

- 행렬 A의 벡터 5개가 선형 독립이라면 -> rank(A) = 5

기저 basis

- 아래의 벡터 공간과 벡터가 다음의 관계를 가지고

- 기저 : 아래의 조건들을 만족할때의 벡터

 -> span(S) = 벡터 공간, 벡터가 1차 독립인 경우

- 기저의 예시

내적 inner product

- 두 벡터의 곱 연산 중 하나로 차원이 줄어들어 스칼라 결과가 나옴. 스칼라 곱 or 점곱이라고도 부름

노름 norm

- 벡터의 크기를 의미

벡터 사이의 거리

- 두 벡터가 주어질때, 두 벡터 차의 노름으로 벡터 사이의 거리를 구할 수 있다.

코시-슈바르츠 부등식

- 두 벡터 a, b에 대하여 둘의 내적 값은 각각의 놈(norm)의 곱보다 작거나 같다는 부등식.

두 벡터 사이의 각 구하기

- 코시 슈바르츠 부등식으로 두 벡터 간 각을 얻을 수 있다.

두 벡터가 수직 인 경우

- 두 벡터 사이의 각이 90도 인 경우 내적은 0이 되며 아래와 같이 표기한다.

오늘은 바깥에 오래 돌아다니다보니

많은 내용을 하지는 못했습니다.

공업 수학에서

벡터 함수 정도 까지만 보면 충분 할것 같아

벡터 함수, 포텐셜, 보존장, 법선 벡터까지만 진행하고,

선적분 등의 내용은 생략하고 마무리하였습니다.

그리고 도서관에 들러

네트워크, 개발자 학습 방향 에세이, 알고리즘 등의

서적들을 조금 훑어보았습니다.

추가적인 학습 내용은

베이즈 통계학과 기존 통계학의 차이를 살펴보고

앞으로 최적화에 대해서 공부해나가야 하는데

최적화 공부 방향과 선형대수 일부분을 학습하였습니다.

그러다 마침 kmooc에서

데이터 분석을 목표로 선형 대수, 확률, 최적화 이론을 통합한 강의가 있었는데

우선 간단히 최적화에 대해 전반을 다루어 본다음에

관련 학문들과 통합하여 한번에 보고자 합니다.

오늘은 여기까지.

2020-07-15

• 지난 시간에는 벡터 기초와 행렬 그리고 행렬을 이용해 선형 시스템을 표현하고 이를 가우스 소거법, 가우스-조던 소거법등의 방법으로 해를 구하는 방법을 알아 본 뒤, 벡터의 미적분을 다루기 위한 다변수 함수와 편도함수에 대해서 살펴보았습니다. 이번 시간에는 공업 수학에서 필요한 부분을 간단히 살펴보면서 마무리하고, 앞으로 공부할 영역들을 고민해 보는 시간을 가진뒤 베이즈 통계학과 최적화에 대해서 잠시 정리해보았습니다.
• 우선 다변수 함수를 살펴본 다음에 벡터 함수에 대해서 살펴보았습니다. 우리가 그 동안 알고 있던 함수는 스칼라 값에 대한 사상인 스칼라 함수이고, 벡터들을 다루는 벡터 함수에 대해서 살펴보았습니다. 벡터 함수를 통해 결과가 벡터가 나오며 이런 벡터 함수들의 값들을 크기와 방향을 함께 그린 벡터 장이라는 개념에 대해서 살펴 볼수 있었습니다. 벡터 장은 그래프 상에 화살표들의 흐름으로 원점에서 멀어질수록 길이를 길게 함으로서 벡터의 크기를 크게 표현을 하였는데, 영상 처리를 공부하거나 로봇 공학에서 이러한 장 표현들을 몇번 본적이 있지만 도저희 그런 응용 분야 서적에서는 수학적인 이론에 대해서 알고있다고 가정하고 서술해서인지 배경지식 없는 상태로 정말 힘들게 보곤 했습니다. 하지만 이렇게 벡터 장이라는 개념을 살펴보면서 그 때 그 의미가 무엇인지 조금이나마 이해하는데 도움될것 같습니다.
• 특히 그 다음에는 기울기 벡터 그라디언트와 방향 도함수 등에 대해서 살펴보았는데, 그라디언트는 로봇 공학에서 자코비안을 다룰때 잠깐 공식으로만 찾아보고 자세한 의미를 알수는 없었습니다. 이번 기회에 그라디언트에 대한 간단한 설명을 같이 보고, 추가적으로 기울기 벡터의 크기 변화율이 아닌 방향 변화율을 의미하는 방향 도함수라는 개념을 살펴보았습니다.
• 그 다음으로 간단하게 포텐셜과 보존 장에 대해서 살펴보았는데, 이전에 로봇 경로 계획 알고리즘 중에 포텐셜을 이용하는 방법이 있었지만 도저히 엄두가 나지 않아서 제대로 찾아본적이 없었습니다. 하지만 포텐셜과 보존장에 대한 공식을 통해 그라디언트를 적용하는 스칼라 함수를 포텐셜, 기울기 벡터를 보존장인 것을 이해할수 있었습니다. 이와 별개로 이변수 함수에 곡면 함수를 적용하여 얻은 등위 곡선 level curve과 등위 곡선 상에서 가장 큰 기울기를 가지는 법선 벡터에 대해서도 잠시 살펴보았습니다.
• 인공지능과 로봇 공학에 있어서 베이즈라는 개념이 많이 사용되는걸로 알고 있습니다. 그런데 저는 베이즈가 사후확률을 구하기 위한 조건부확률? 정도로만 이해 했지 그 이상은 잘 모르고 있었습니다. 그러던 중 좋은 자료를 찾게 되어 통계학에는 일반 통계학과 베이즈 통계학이 있는 것을 알게 되었고, 일반 통계학이 실제 샘플 데이터로 추정을 수행한다면 베이즈 통계학은 현상에 대한 주관적인 확률 가설을 세우고 이를 베이즈 정리를 이용해서 추론해내는 과정 즉 정확한 데이터의 수치가 아닌 주관적인 가정 확률을 이용한다는 점에서 다른것을 알수 있었고 그러한 이유에서 믿음, 신뢰도라는 용어를 사용하는 것을 이해할수 잇었습니다.
• 그 동안 공업 수학에서 필요하거나 할수 있는 부분들로 전반적인 내용과 베이즈 통계학에 대해서 간단히 살펴보았습니다. 이런 과정들이 결국에는 인공지능과 영상 처리등을 다루기 위한 최적화를 공부하기 위함이었고, 필요한 부분들을 다룬 만큼 이번에 최적화 이론에 대한 개괄적인 내용들을 살펴보았습니다. 그래서 잠시 살펴보니 최적화를 배우는데 선형대수를 기본적으로 알고 있어야 하고, 이후 1변수 함수와 다변수 함수, 컨벡스 함수 그리고 유명한 경사 하강법, 뉴턴 방법 등이 있는것을 알게 되었습니다. 그래서 차후에는 선형대수 전반에 대해서 살펴본 후 최적화를 차근차근 학습해 나가고자 합니다. 최적화에 대해서 마무리하면 당장은 영상 처리를 제대로 정리해보고자 합니다.

벡터 공간 vector space

- 아래의 집합이 주어질때, 덧셈과 스칼라 곱 연산이 가능하는 경우 => 아래의 집합 = 벡터 공간

벡터 공간의 예시

- 2차원 평면

- 3차원 공간

부분 공간 subspace

- 집합 A가 벡터 공간 집합의 부분 집합인 경우, A는 부분 공간

선형 결합 linear combination

- 선형 결합 : 다음의 벡터 집합과 실수 집합이 아래의 결합 관계를 가지는 경우

- 생성 span : 다음의 벡터와 실수의 모든 선형 결합

선형 독립과 선형 종속

- 아래의 선형 결합이 주어질 때

- 선형 독립 linear independent : 모든 실수(계수)가 0인 경우에만 해가 존재하는 경우 

- 선형 종속 linear dependent : 모든 실수가 0 이외에도 해가 존재하는 경우

최적화 이론 optimization theory

- 아래와 같이 함수 f(x)가 주어질때, f(x)가 최소 값이 되는 x지점을 찾는 이론

- 하지만 함수가 복잡해지면, 해를 직접 구하기 힘듬

 => 초기값을 정하여 최소 지점으로 접근해나가는 방법으로 풀어나감

배워야 할 내용들

1. 선형 대수

2. 1변수 함수와 최대 최소 이론

3. 다변수 함수와 비용 함수 cost function + 테일러 전개(매우 중요)

4. 컨벡스 함수 convex funciton

5. 최적화 기법들

- gradient descent

- line search

- newton search ...

6. 라그랑주 승수법

*  기호

http://www.kmooc.kr/courses/course-v1:KoreaUnivK+ku_eng_002+2020_A09/about

Mathematical Fundamentals for Data Science

머신러닝, 데이터 분석, 로봇, 영상 처리 등 기술에

선형대수, 최적화, 확률과 같은 이론들이 필요한데

이에 대한 강의를 찾아보고 있었다.

보통 선형대수나 확률과 같은 자료나 강의는 많지만

최적화는 이에 비해 자료가 그렇게 많지는 않더라

그래서 kmooc에서 검색 해보다가

고려대에서 준비한 이 강좌를 찾게 되었다.

이 강좌는 내가 원하던 데로

기계 학습에 필요한 수학적 배경들을 한번에 다루는걸 목표로 하고 있어

마침 공업 수학을 마무리 한 지금 보면 좋은 강의인것 같다.

수업 내용은 다 영어지만

공부하면서 정리도 조금 해놓으면

그 동안 학습한 이론 개념들을 확립할수 있겠다.

확률 변수 random variable

- 사건 X

확률 probaility

- 사건 X1이 일어날 확률

=> P(X= x1)

기대값 expectation

- 확률 변수 X가 주어질떄 X에 대한 평균

- E(X)로 표기

분산 variation

- 모든 [(각 확률변수 - 해당 확률변수의 기대값)의 제곱]의 합/경우의 수

=> 평균에서 멀어진 정도

표준 편차 standard varaition

- 분산의 제곱근 

확률 분포 probability distribution

- 확률들의 분포 형태

- 이산 확률 분포와 연속 확률 분포로 분류

이산 균일 분포 discrete uniform distribution

- 모든 공간에 균일한 분포

- 1/경우의 수

이항분포 binomial distribution

- 일정 확률 p를 독립 시행 n번 할때 확률 분포

다항 분포 multinomial distribution

- 이항 분포를 일반화 한것

- 이항분포에서 결과가 참 거짓 2가지 뿐인것과는 달리 k개가 존재

연속 균일 분포 continuous unitform distribution

- 이산 균일분포와 동일하나 연속공간에서 정의

정규 분포 normal distribution

- 종 형태의 확률 분포로 많이 사용

이외 확률분포는 생략

- 역감마분포

- 포아송분포

- 지수분포

일반 통계학에서의 확률

- 주사위에서 1이 나올 확률이 1/6

베이즈 통계학에서의 확률

- 약속 시간에 늦을 확률 1/2

 => 개인적인 믿음 정도(주관주의 확률)를 확률로 정의하는 통계학

베이즈 통계학

- 주관주의 확률을 다루는 통계학

일반 통계학과 베이즈 통계학에서의 차이

1. 일반 통계학

 - 모집단에서 n개의 샘플을 추출

 - 표본 집단으로 기대값 x1을 구함.

 - 다른 표본 집단으로 기대값 xn을 구하고 반복함.

 - 전체 기대값(x1 + ... + xn)/반복 횟수 T

   => 추정값을 구할 수 있음.

2. 베이즈 통계학

- 가설을 세움

- 모집단에서 표본을 추출하여 

- 베이즈 정리

  => 추정값과 그 추정값에 대한 주관적인 확률을 구함.

예전부터 공업수학을 공부해야지 생각은 하고 있었지만

가장 유명한 크레이직 공업수학인가?

그런 책들을 보면 

무수한 예제와 증명을 보고 겁에 질려 포기하고 말았었다.

공업 수학을 왜 공부해야하는지에 대한 고민 없이 하다보니 더 그랬던것 같았는데

결국 돌아돌아

최적화 이론, 수치해석 같은 학문을 배우기 위해서

공업수학을 공부하게 되었다.

이번에 공업수학을 배우기 전에는 공업 수학이라는 학문이 무엇을 하는지는 잘 몰랐었다.

나보고 봐야 된다고 말하는 사람도 잘 없었고,

그나마 한번 봤을때 전체적인 틀을 보고 시작하는게 아니라

처음부터 세부적으로 보는데, 수많은 공식과 증명 과정들만 보고 포기해버리고 말았는데,

그나마 그래프 기반 슬램에서 최적화 관련 개념들을 보고 수치해석을 공부 하려고 시작하다가

수치 해석의 개요에서 공업수학이 미분 방정식을 다루는 학문이다 정도로 나마 막연하게 알게되어

수치해석을 시작하기 전에 본격적으로 살펴보게 되었다.

그 동안 공부하면서 삽질과 이론 공부 흐름을 고민하면서

내가 필요한 부분들 넘어가도 되는 부분들을 생각하면서

공업수학을 공부하다보니 생각보다 빠르게 둘러 볼 수 있었다.

예전에 신호와 시스템, 제어 공학을 배울때는

왜 물리적인 현상을 미분 방정식으로 모델링하는지 잘 몰랐었다.

당시 눈앞에 보이는 푸리에 변환, 라플라스 변환 공식과 이동 성질,

예제 푸는데만 혈안이 되있다 보니

많은 시간을 들인 덕에 그러한 예제들은 풀수 있을지는 몰라도

제어 공학과 신호와 시스템에서 왜 미분방정식이 사용되는지, 시스템이 무엇인지와 같은

개념들을 쌓는데는 등한시 하고 말았었다.

그렇게 삽질하면서 공부한 문제 푸는 방법도 다 잊어버렸으니

남은게 아주 많지는 않더라

하지만 그런 삽질 덕분에

이번 공업 수학에서 수학적 모델링과 해를 구하는 과정에 대해

문제 풀이보다 개괄적인 이론에 대해 살펴볼수 있었던것 같다.

그렇게 다양한 학문에서 다루는 문제를 수학적 모델링을 하고, 방정식을 만들어 해를 구하는 과정에 대한 개념과

그러한 수학적 모델링을 위한 1차, 다차 미분 방정식, 시스템과 다양한 해를 구하는 방법

그리고 행렬과 벡터 이론을 통한 벡터 미적분 일부 까지

조금 더 깊이 들어간다면 더 들어갈 수 있지만 이 정도 보기 만해도

내가 공부하는 응용분야에서는 충분할것 같다.

특히 다양한 문제들을 수학적으로 모델링하고

이 모델링한 방정식의 특성에 따라 해를 구하는 등

해석적, 수치적 방법론에 대한 전반적인 배경지식을 조금 더 확립할수 있어서 잘봤다.

다음에는 베이즈 통계학, 수치해석, 최적화 이론 중 아무거나 공부해보고자 한다.

자연 과학에서 유용하게 사용되는 도함수

- 기울기 벡터, 발산, 회전

기울기 벡터 gradient

- 스칼라 함수 f가 주어질때 grad f가 기울기 벡터

방향 도함수 directional derivative

- 스칼라 함수 f의 a 방향 변화율

- D_a f는 a 방향의 변화율로 theta 값에 따라 i방향과 j방향 성분을 구할수 있음.

 -> 방향도 함수는 편미분을 임의의 방향으로 나타낸 개념

기울기 벡터의 의미

- 스칼라 함수 f의 기울기 벡터는 다음의 방향을 가리킨다.

포텐셜 potential과 보존장 conservative field

- 아래의 식이 주어질때 스칼라 함수를 기울기 벡터의 포텐셜, 기울기 벡터를 보존장

등위 곡선과 법선 벡터

- 곡선 f(x, y) = c가 곡면 z = (x, y)의 등위 곡선일때, 곡면의 매개변수 벡터함수 r(t) = [x(t), y(t)]로 정의

- 곡선 f(x, y) =c 를 시간 t에 대해서 미분하면 다음과 같다.

=> 법선 벡터는 스칼라 함수 f가 가장 급격히 증가하는 기울기 벡터