C1W2L01 ~ C1W2L03 Binary Classification, Logistic Regression, Logistic Regression Cost Function

Binary Classification (C1W2L01)

- 신경망 처리시 훈련셋을 for문 없이 어떻게 한번에 처리하나 보자

- 전방향과 역전파 단계가 있음 왜 이렇게 수행하는가 알아보자.

- 이 과정을 이해하기 위해서 로지스틱 회귀부터 학습.

 

 

이진 분류 문제

- 이진 분류 문제는 주어진 데이터를 가지고 무언가인지 아닌지 두가지 경우를 분류함

- 이미지는 3개의 채널을 가진 행렬 형태 아래의 입력 특징 백터는 64 x 64 x 3 = 12288 

- 이진 분류기는 이미지를 학습해서 특징 벡터 x를 받아 y를 예측함. 고양이 이미지인지 아닌지

이번 강에서 사용하는 표기법들

 

 

 

 

 

Logistic Regression (C1W2L02)

- 로지스틱 회귀는 이진 분류 문제로서 입력이 주어질때 1인지 0인지 판별하는 지도학습

- y_hat을 어떻게 구할까? w^t + b = y_hat 선형 함수로 만든다.

- y_hat은 0과 1 사이여야하지만 위의 선형 함수로는 그럴수가 없다

 => sigmoid(w^t x + b) = y_hat 형태로 비선형 활성화 함수를 주자

- sigma(z) : z가 아주 크면 1, 아주 작으면 0이됨.

- 로지스틱 회귀 구현시 y_hat이 잘 추정하도록 좋은 파라미터 w와 b 파라미터 값을 구하여야 한다.

- x 원소의 갯수가 하나가 아닌경우 우측과 같이 계산.

 

* 로지스틱 회귀는 아주 간단한 신경망이라 볼수 있다!

 

 

 

Logistic Regression Cost Function (C1W2L03)

- 지난 시간에 로지스틱 회귀 모델을 살펴봄. 파라미터 w, b를  학습하기 위해서는 비용함수를 정의하여야 함.

- x^i 는 x의 i번째 데이터 예제. 다음으로 손실, 오차 함수 L 정의

- 대표적인 비용 함수로 제곱 오차 함수 MSE 하지만 로지스틱 회귀에서 MSE가 잘 사용되지 않음.

  => 최적화 함수가 컨벡스 함수가 되지 않기 때문. 경사하강법으로 지역/전역 최적값을 찾지 못함.

 - 손실 함수 L은 예측 결과가 얼마나 좋은지 판단. * 하나의 데이터

  => 최적화 문제가 컨벡스, 볼록해지도록 하는 손실함수를 정의하여야함.

 

- 제곱 오차는 오차를 최소화 하려고 할 것임.

- 로지스틱 회귀 비용 함수도 값을 최소화 하려고 할 것.

* 손실 함수 정의에 대해서는 차후에 자세히 다뤄봄.

 

- 비용 함수 cost fucntion : J(w, b) = ... 는 모든 데이터의 비용 함수의 평균으로 현 모델의 예측 결과가 얼마나 좋은지