집밖은 위험해

행렬 matrix

- 수 들의 m 행 n 열 모임

전치 행렬 transpoise matrix

- 행렬 A의 (i, j)성분들을 (j, i)성분으로 바꾼 행렬

대각 행렬 diagonal matrix

- 주 대각 성분 principal diagonal component 이외의 모든 성분들이 0 인 행렬

단위 행렬 identity matrix

- 주 대각 성분이 1인 대각 행렬들

대칭 행렬 symmetric matrix

- 행렬 A가 A의 전치행렬과 같은 경우

교대 행렬 antisymmetric matrix

- 행렬 A가 A의 전치 행렬에 -를 곱한 것과 동일한 경우. 행렬 A는 교대 행렬

양 확정 행렬과 양 세미확정 행렬

- 대칭 행렬 A가 주어질때, 모든 n차원 벡터에서

- 다음 과 같은 경우 행렬 A는 양 확정 행렬 positive deifinite matrix

- 아래와 같은 경우 행렬 A는 양 세미확정 행렬 positive semidefinite matrix

역행렬과 특이행렬

- 행렬 A가 주어질때, AB = I를 만족하는 행렬 B가 존재하는 경우

- 정칙행렬 비특이행렬 nonsingular matrix : 행렬 A

- 역행렬 inverse matrix : 행렬 B

+ 비 정칙 행렬, 특이 행렬 singular matirx : 정칙 행렬이 아닌 행렬. 즉, 역행렬이 존재하지 않는 행렬

행렬의 랭크

- 선형 독립인 벡터의 개수

- 행렬 A의 벡터 2개가 선형 독립이라면 -> rank(A) = 2

- 행렬 A의 벡터 5개가 선형 독립이라면 -> rank(A) = 5

기저 basis

- 아래의 벡터 공간과 벡터가 다음의 관계를 가지고

- 기저 : 아래의 조건들을 만족할때의 벡터

 -> span(S) = 벡터 공간, 벡터가 1차 독립인 경우

- 기저의 예시

내적 inner product

- 두 벡터의 곱 연산 중 하나로 차원이 줄어들어 스칼라 결과가 나옴. 스칼라 곱 or 점곱이라고도 부름

노름 norm

- 벡터의 크기를 의미

벡터 사이의 거리

- 두 벡터가 주어질때, 두 벡터 차의 노름으로 벡터 사이의 거리를 구할 수 있다.

코시-슈바르츠 부등식

- 두 벡터 a, b에 대하여 둘의 내적 값은 각각의 놈(norm)의 곱보다 작거나 같다는 부등식.

두 벡터 사이의 각 구하기

- 코시 슈바르츠 부등식으로 두 벡터 간 각을 얻을 수 있다.

두 벡터가 수직 인 경우

- 두 벡터 사이의 각이 90도 인 경우 내적은 0이 되며 아래와 같이 표기한다.

벡터 공간 vector space

- 아래의 집합이 주어질때, 덧셈과 스칼라 곱 연산이 가능하는 경우 => 아래의 집합 = 벡터 공간

벡터 공간의 예시

- 2차원 평면

- 3차원 공간

부분 공간 subspace

- 집합 A가 벡터 공간 집합의 부분 집합인 경우, A는 부분 공간

선형 결합 linear combination

- 선형 결합 : 다음의 벡터 집합과 실수 집합이 아래의 결합 관계를 가지는 경우

- 생성 span : 다음의 벡터와 실수의 모든 선형 결합

선형 독립과 선형 종속

- 아래의 선형 결합이 주어질 때

- 선형 독립 linear independent : 모든 실수(계수)가 0인 경우에만 해가 존재하는 경우 

- 선형 종속 linear dependent : 모든 실수가 0 이외에도 해가 존재하는 경우

최적화 이론 optimization theory

- 아래와 같이 함수 f(x)가 주어질때, f(x)가 최소 값이 되는 x지점을 찾는 이론

- 하지만 함수가 복잡해지면, 해를 직접 구하기 힘듬

 => 초기값을 정하여 최소 지점으로 접근해나가는 방법으로 풀어나감

배워야 할 내용들

1. 선형 대수

2. 1변수 함수와 최대 최소 이론

3. 다변수 함수와 비용 함수 cost function + 테일러 전개(매우 중요)

4. 컨벡스 함수 convex funciton

5. 최적화 기법들

- gradient descent

- line search

- newton search ...

6. 라그랑주 승수법

*  기호

문제 1

문제 2

고유값과 고유벡터

- 고유 벡터 : 선형 변환시 방향이 바뀌지 않고 크기만 변하는 벡터

- 고유 값 : 고유 벡터가 변하는 크기

- 고유 값과 고유 벡터는 n차 정방행렬에 n개가 나옴

위 문제의 고유값과 고유벡터

고유값과 특성 방정식

- 특성방정식을 풀면 고유값을 구할 수 있다.

특성 방정식으로 선형 사상의 고유값 구하기

고유값으로 고유벡터 구하기

- 선형 사상을 적용 한 식에 고유 벡터를 대입

n차 정방행렬의 p 제곱 구하기

n차 정방행렬의 대각화

- p=1인 경우 고유값으로 이루어진 대각행렬

노름(Norm)

- 벡터의 크기/길이

내적 inner produdct

- 내적 = 스칼라곱 = 도트곱

정규 직교 기저

- orthonormal basis

- 각 벡터의 길이가 1이며두 벡터의 내적이 0인 경우

외적 outer product

- 벡터 곱, 크로스곱

선형 사상

- f는 n차원에서 m차원으로의 사상

- 아래의 두 조건을 만족한 경우 사상 f는 n차원에서 m차원으로 선형 사상이라 한다.

선형 변환

- 선형 변환(1차 변환) : n차원에서 n차원으로 선형 사상

선형 사상과 행렬

- 사상 f는 행렬 m x n와 같은 의미를 갖는다.

R^n에서 R^m으로 선형 사상

상

- 사상 f에 의해 x_i에 대응하는 집합 Y의 원소

-> 사상 f에 의한 x_i의 상

상과 차원 변환

- 선형 대수를 통해 쉽게 상의 변화를 파악 가능

- n차원이 행렬 m x n를 곱하여 m차원으로 변환

벡터의 해석

- 벡터는 4개의 해석을 할 수 있는 행렬

벡터와 집합

벡터의 점 표현

- c는 임의의 실수 인 경우. 점 (0, c)

벡터의 축 표현

- x_2 축은 집합 {c (0 1)^T | c는 임의의 실수}로 표현

벡터의 실수 표현

- 직선 x_1 = 3은 집합 {3 (1 0)^T + c (0 1)^T | c는 임의의 실수} 로 표현

벡터의 평면 표현 1

- x1, x2 평면을 다음 집합으로 표현할 수 있다.

벡터의 평면 표현 2

- x1, x2 평면을 다음의 집합으로 표현가능하다

벡터의 공간 표현 1

- x1x2x3 공간을 다음의 집합으로 표현 가능하다.

벡터의 n차원 공간 표현

- x1x2x3 ... xn 공간은 다음의 집합으로 나타낼 수 있다.

선형 독립

- 각 벡터를 0을 제외한 스칼라 배 한 결과가 영행렬을 만들 수 없는 경우 선형 독립(1차 독립)

선형 종속

- 각 벡터를 0을 제외하고도 스칼라 배 한 결과가 0이 될 수 있는 경우 선형 종속(1차 종속)

기저

- m 차원 임의의 원소를 표현하기 위한 필요한 최소한의 벡터

- 기저의 스칼라배하면, 기저가 속하는 집합의 모든 요소들을 구할 수있음.

- 기저는 선형 독립적

기저의 예시

선형 독립과 기저

- 선형 독립 : 제로 벡터에 대해 해가 0 스칼라배일 때만 유일한 경우 선형 독립

- 기저 : m차원 임의의 원소를 표현하기 위한 최소한의 집합 - 해가 여러개면 기저가 아님

- 기저가 아니어도 선형독립 힐 수 있다.

* 선형 독립은 제로 벡터에만 한정.

* 기저는 m차원 모든 벡터를 상대로 함

부분 공간

- W의 임의의 원소를 c배 한것도 W의 원소

- W의 임의의 원소의 합도 W의 원소

=> 위 두 조건을 만족시 W는 m차원의 부분공간

부분 공간의 예시

생성된 부분 공간

생성된 부분 공간 예시

기저와 차원

- W는 m차원의 부분공간이고, W의 선형독립인 원소가 다음 식 성립 시 선형 독립인 원소는 부분공간W의 기저가 됨

- 기저의 원소 갯수 n은 부분 공간 W의 차원 -> dimW로 표기

좌표

- 기저를 전제로 좌표를 구함

- 원점과 점의 관계를 아래의 그림처럼 해석

선형 대수

- n차원을 m차원으로 변환하는 학문

ex) 1차원 -> 2차원, 2D -> 3D, 3D -> 2D ...

선형 대수 학습 흐름

1. 행렬

2. 벡터

3. 선형 사상

4. 고유값과 고유벡터

사상(projection)

- 집합 X의 원소를 집합 Y의 원소를 대응시키는 규칙

-> 집합 X에서 집합 Y로의 사상

치역과 정의역

- 집합 f(x1), f(x2) .., f(xn)을 사상 f의 치역

- 이 때 집합 X를 사상 f의 정의역

전사 surjective

- 사상 f의 치역과 집합 Y가 동일한 경우

단사 injective

- x1 != x2 이면, f(x1) != f(x2) 인 경우 사상 f는 단사

- 단사 = 1대1 사상

전단사 bijective

- (f 치역 = 집합 Y) and 1대 1 사상

-> 전단사 = 1대 1 대응

역사상

- 사상 g는 사상 f의 역사상

- 역사상이 존재 -> 사상 f는 전단사

선형 사상

- 아래의 두 조건을 만족하는 경우 사상 f는 X에서 Y로 선형사상

* c는 임의의 실수, x_i x_j는 집합 X의 원소

1. f(x_i) + f(x_j) = f(x_i + x_j)

2. c f(x_i) = f(c x_i)

선형 사상인 예와 아닌 예

- 선형 사상 o : f(x) = 2x

- 선형 사상 x : f(x) = 2x - 1

행렬, 정방행렬

- 행렬 matrix : 수를 m 행 n 열로 묶음

- 정방행렬 square matrix : 행과 열이 일치한 행렬

행렬 표기

행렬들

1. 영행렬

2. 전치행렬

3. 대칭행렬

4. 상삼각행렬

5. 하삼각행렬

6. 대각행렬

7. 단위행렬

8. 역행렬

영 행렬 zero matrix

- 모든 성분이 0인행렬

전치 행렬 transpose matrix

- 행과 열을 바꾼 행렬

대칭 행렬 symmetry matrix

- 대각 성분을 중심으로 대칭인 n차 정방행렬

상삼각/하삼각행렬

- 대각 성분의 위/아래가 0인 n차 정방행렬

대각행렬 diagonal matrix

- 대각 이외 성분이 모두 0인 n차 정방행렬

- diag(1, 3, 1) 과 같이 표현

단위 행렬 unit matrix

- diag(1, 1, ..., 1)인 행렬

- 대각 성분이 1이고, 나머지는 전부 0 인 n차 정방행렬

역행렬 inverse matrix

- n차 정방행렬 A와 곱이 n차 단위 행렬이 되는 정방행렬 

- 역행렬 구하는 방법, 역행렬 유무 확인 방법이 중요

역행렬 구하는 방법

- 여인수 방법, 가우스 소거법 방법

가우스 소거법

- 연립 방정식 좌항을 단위 행렬로 바꿔 연립 방정식을 푸는 방법

가우스 소거법으로 역행렬 구하기

행렬식 determinant

- determinant = 결정자 -> 역행렬 유무 판단

- A는 n차 정방행렬,  det(A) != 0 이면 역행렬이 존재

2차 정방행렬 행렬식 구하기

3차 정방행렬 행렬식 구하기

- 사루스 방법

크레이머 공식

- 1차 연립 방정식을 푸는 공식

크레이머 공식으로 연립방정식 풀기

현재 새벽 4시 30분

잠이 안와서

만화로 배우는 선형대수 책을 잠깐 봤다.

이전에 영상 처리, 칼만 필터, 로봇 등 공부할때

선형 대수 개념들이 많이 나와서

이전에도 여러번 공부하려고 했던 학문이다.

하지만 kmooc 나 블로그 등 자료 찾아보면서

내 나름대로는 여러번 선형대수를 정리하긴 했었지만

이해 하기도 힘들었고, 머리에 잘 남지도 않았었다.

요즘 여러 책들을 읽으면서

읽기 쉬운 책과 읽기 힘든 책들을 구분 할 수 있었는데

만화로 쉽게 배우는 시리즈와 컴퓨터 아나토미 같은 책들은

읽으면서 이미지화?가 잘되는 느낌이 들더라

책에서 제시하는 흐름 대로 상상해가며 따라가면 그 개념들이 정리가 되더라.

반면에 읽기 힘든 the element of computer system, 컴퓨터 통신 개론 같은 책들은

이전 책들처럼 이미지화가 잘 되지 않는다.

앞에서 배운 개념들이 뒤에서 어떻게 쓰이는지 제시하지 않고

최대한 많은 내용들을 전달하는데 목적이여선지 이런 책들을 읽다보면 이해할 수 도 없고 집중도가 많이 떨어지더라

the element of computer system의 경우 원서라 그렇지 목표 제시는 명확하게 해주고 순서도 좋긴 했었다.

설명만 보고 넘어가면 괜찬을 순 있는데

각 챕터에 있는 과제물을 제시하기만하고 이 과제물을 어떻게 구현해야하는지 설명이 없으니

이 책은 목표도 명확하고, 내용도 체계적이지만

과제를 안하고 넘어 갈수도 없고 과제에 시간이 너무 끌려 읽기 너무 어렵더라.

나는 컴퓨터 쪽으로 공부하다보니 수학 쪽으로 아주 깊이 있는 내용 보다는

선형 대수에 대한 전반적인 개념을 이해해서 타 학문을 학습하고 접목할 수준정도만 배우고 싶었고

kmooc에서 제공하는 혹 블로그에서 제공하는 자료들은 내가 학습하고 싶은 방향과는 잘 맞지는 않았다.

계속 이 자료들만 알았다면 선형대수를 포기하거나 이전 처럼 단편적인 정보만 찾아 그때그때 넘어갔을것이다.

다행이 만화로 쉽게 배우는 선형 대수 책을 보면서 (아직 다본건 아니지만)

이전에 반복적으로 봤던 백터같은 기초적인 개념들을 복습하고,

사상, 선형 독립 등 추상적인 개념들에대해 이해하는데 도움이 되더라

특히 영상 처리 공부할 때

고유치 고유벡터 내용이 계속 나왔는데 그 값에 대한 정의는 알긴 했지만 그 이상을 넘어가지 못했고

엄청 죽썻었다.

지금 새벽시간이니 오늘 낮이나 저녁 중에 천천히 정리해봐야지.

읽기 좋았던 책 특징

1. 쓸때 없이 깊은 내용들 x

2. 명확한 방향? 제시

3. 궁금한 부분 설명

-----

새벽에 선형 대수 읽기 전에 어제부터 물리 책도 나눠서 봤었었다.

제어 시스템을 수학적 모델링 할 때

물리 개념들이 나와 당시 스프링-질량-댐퍼 시스템에서

스프링 은 뭐고 질량에 힘은 뭐고 댐퍼의 힘은 어떻고를

미분 방정식으로 풀이해서 정리하긴 했는데

그 땐 이해는 하긴 했는데 50% 만 이해하고 거의 공식 처럼 쓰다보니 불편할 때가 많았다.

그래서 운동 에너지, 힘 부분들을 이 책에서 보긴 했지만

크게 제어기 시스템 관련해서 참고될 부분들은 많진 않더라

이 책은 대강 보고 pass