패턴인식 - 3. 선형/이차 분류기 개요

선형 분류기 linear classifier 개요

- 피셔의 선형 분류기, SVM의 기초가 되는 간단한 분류기

 

이차 분류기 nonlinear classifier 개요

- 판별함수 discriminant function가 가우시안 분포를 따를 때, 판별식이 행렬의 이차형태로 표현되는 분류기

 

 

 

 

 

 

 

 

선형 분류기

- 선형으로 분리가 가능한 두 클래스로 이루어진 데이터 분류하는 판별식으로 정의

- 2차원 데이터 -> 판별식은 직선(결정 경계 dicision boundary),

   3차원 데이터 -> 2차원 평면 dicision plane,

   다차원 데이터 -> 초평면 hyper plane

 

선형 분류기와 선형 판별식

- 클래스 c1, c2를 분류하기위해 두 특징 x, y이 주어지고 선형 판별식이 아래와 같을떄

- a, b, c는 가중치

- 두 특징 x1, y1가 주어질때 선형 판별식 g(x1, y1) < 0 인 경우 : 특징 x1, y1는 c1

- 두 특징 x2, y2가 주어질때 선형 판별식 g(x2, y2) > 0 인 경우 : 특징 x2, y2는 c2

 

 

 

 

 

 

 

고차원 특징에서의 선형 판별식

- 아래와 같이 가중치 벡터 w와 입력 벡터 x의 내적으로 정의

 *  w는 가중치 벡터이며, 초평면의 법선 벡터

- w_0은 원정메서 초평면까지의 거리

 

 

 

판별식 가중치 결정

- 판별식 정의에선 가중치 벡터 w가 가장 중요함.

 => 학습용 데이터를 이용해 최소의 분류 오차를 생성하는 최적의 가중치 파라미터를 찾아 구함

- 주어진 학습 집합에서 분류 오차를 최소화 하는 방식을 사용

 

 

 

 

 

 

결정 경계 decision boundaray

- 두개의 클래스에 대한 분류를 하기 위한 경계를 만드는 문제

 => 하나의 선형 판별식이 필요

- 3개 이상의 클래스를 분류하기 위해선 여러개의 선형 판별식이 필요. 다중 클래스는 3가지 경우가 존재

 

 

 

다중 클래스 결정 경계의 유형들

1. 각 클래스가 단일 판별식으로 결정

- d1(x, y) = 0로 C1인 경우와 아닌경우 판별

- d2(x, y) = 0로 C2인 경우와 아닌경우 판별

- d3(x, y) = 0로 C3인 경우와 아닌경우 판별

2. 판별식이 클래스의 쌍으로 결정되는경우

- d_12(x,y) = 0으로 C1과 C2로 나뉘는 경우

- d_23(x,y) = 0으로 C2와 C3이 나뉘는 경우

- d_13(x,y) = 0으로 C1과 C3이 나뉘는 경우

 

 

 

3. 판별식이 클래스의 쌍인데 특별한 경우(생략)