집밖은 위험해

오류확률을 최소화 하는 결정 규칙(MAP)

- MAP Maximum a Posterior 사후확률 최대화는 판별 함수로 수식화함

판별함수가 가우시안을 따르는 경우

- 공분산 행렬의 형태에 따라 데이터가 여러 형태로 분포

베이즈 분류기

- 클래스들의 데이터가 기본적으로 가우시안으로 따른다고 봄

 => 판별식이 아닌 이차형식으로 표현

 * 아래는 이차형식의 예

- 베이즈 분류기는 이차 형식으로 표현되므로 비선형(이차) 분류기라도 함.

복습) 우도비 결정규칙들에 따른 판별함수

복습) 판별식 discriminant equation

베이즈 분류기가 선형분리기가 되는 경우

- 데이터 분포(공분산)이 다음의 경우를 따르면, 선형 분류기가 됨.

1. 클래스들이 모두 가우시안 분포를 따르고, 공분산 값도 동일하며, 사전 확률이 같은 경우

   => 마할라노비스 거리 분류기

2. 클래스 모두 가우시안을 따르고, 항등 행렬에 비례하는 동일한 공분산값을 가지며, 사전확률이 같음

   => 유클리디안 거리 분류기

공분산 행렬의 종류

- 대부분의 분류기들은 베이즈 분류기인 이차 분류기로부터 유도됨.

- 아래의 그림과 같음

가우시안 확률 밀도함수 일반식

- 다변량 가우시안 확률밀도함수는 아래와 같이 정의됨

- MAP 판별함수를 구하면 다음과같음.

- 상수항을 제거하고 자연로그를 취하면 아래의 베이즈 이차 판별 함수식을 구함.

공분산이 1번 형태의 경우 판별함수 정리

- 베이즈 이차 판별 함수식의 공분산이 1번 경우와 같다면

- 특징 벡터들이 모든 클래스에서 동일한 분산 값을 가지고, 공분산이 0으로 서로 각 차원간에 독립

 => 공분산이 0이므로 제거해서 정리하자

-이 식을 정리하고

- 모든 클레스에 대해서 동일한 상수항인 x^T x 항을 제거하면, 기존의 이차 형식이던 판별함수가 일차 선형이 된다.

 => 결정 경계 decision boundaray는 g_i(x) = g_j(x)인 초평면 hyper plane임

- 사전확률 P(omega_i)가 모든 클래스에서 동일한 경우 아래와 같이 판별함수는 정리됨.

 => 이를 최소 거리 minimum distance 분류기 or 최근접 평균 분류기 nearest mean 라고 함

최근접 평균 분류기 nearest mean classifier

- 입력되는 특징벡터와 각 클래스의 중심간 유클리디안 거리가 판별함수가 되는 간단한 분류기

- 아래의 그림은 최근접 평균 분류기로 구한 결정 경계들

공분산이 3번 형태의 경우 판별함수 정리

- i번째 공분산 행렬이 비대각 행렬 Sigma인 경우

- 이차 판별함수는 MAP 결정 기준 판별 함수로 다음과 같이 유도 및 정리 됨.

- log |Sigma|는 상수항이므로 제거하면, 마할라노비스 거리를 얻게 된다.

- Sigma = 1이면 유클리디안 거리와 마할라 노비스 거리는 동일해짐

- 이차항을 정리하자

- 이차항은 상수이므로 생략하면, 이 판별 함수는 선형이 됨

 => 결정 경계는 초평면(hyper plane)이 됨.

- 사전 확률이 모든 i에 대해서 같담면 다음의 식을 얻음

 => 아래의 식을 마할라노비스 거리 분류기.

선형 분류기 linear classifier 개요

- 피셔의 선형 분류기, SVM의 기초가 되는 간단한 분류기

이차 분류기 nonlinear classifier 개요

- 판별함수 discriminant function가 가우시안 분포를 따를 때, 판별식이 행렬의 이차형태로 표현되는 분류기

선형 분류기

- 선형으로 분리가 가능한 두 클래스로 이루어진 데이터 분류하는 판별식으로 정의

- 2차원 데이터 -> 판별식은 직선(결정 경계 dicision boundary),

   3차원 데이터 -> 2차원 평면 dicision plane,

   다차원 데이터 -> 초평면 hyper plane

선형 분류기와 선형 판별식

- 클래스 c1, c2를 분류하기위해 두 특징 x, y이 주어지고 선형 판별식이 아래와 같을떄

- a, b, c는 가중치

- 두 특징 x1, y1가 주어질때 선형 판별식 g(x1, y1) < 0 인 경우 : 특징 x1, y1는 c1

- 두 특징 x2, y2가 주어질때 선형 판별식 g(x2, y2) > 0 인 경우 : 특징 x2, y2는 c2

고차원 특징에서의 선형 판별식

- 아래와 같이 가중치 벡터 w와 입력 벡터 x의 내적으로 정의

 *  w는 가중치 벡터이며, 초평면의 법선 벡터

- w_0은 원정메서 초평면까지의 거리

판별식 가중치 결정

- 판별식 정의에선 가중치 벡터 w가 가장 중요함.

 => 학습용 데이터를 이용해 최소의 분류 오차를 생성하는 최적의 가중치 파라미터를 찾아 구함

- 주어진 학습 집합에서 분류 오차를 최소화 하는 방식을 사용

결정 경계 decision boundaray

- 두개의 클래스에 대한 분류를 하기 위한 경계를 만드는 문제

 => 하나의 선형 판별식이 필요

- 3개 이상의 클래스를 분류하기 위해선 여러개의 선형 판별식이 필요. 다중 클래스는 3가지 경우가 존재

다중 클래스 결정 경계의 유형들

1. 각 클래스가 단일 판별식으로 결정

- d1(x, y) = 0로 C1인 경우와 아닌경우 판별

- d2(x, y) = 0로 C2인 경우와 아닌경우 판별

- d3(x, y) = 0로 C3인 경우와 아닌경우 판별

2. 판별식이 클래스의 쌍으로 결정되는경우

- d_12(x,y) = 0으로 C1과 C2로 나뉘는 경우

- d_23(x,y) = 0으로 C2와 C3이 나뉘는 경우

- d_13(x,y) = 0으로 C1과 C3이 나뉘는 경우

3. 판별식이 클래스의 쌍인데 특별한 경우(생략)

패턴인식 시스템 설계

1. 데이터 수집 : 올바른 형태의 많은 표본 데이터 필요 -> 텍스트, 사진, 음성 등

2. 특징 선택 : 어떤 특징을 사용할 것인가 선정 -> 관심점, 키, 몸무게 등

3. 모델 선택 : 패턴을 분류하기 위해 어떤 알고리즘을 사용할 것인가 -> 회귀 분석기, 분류기, 클러스터링, 신경망 등

4. 학습 : 훈련 안된 텅빈 모델을 학습된 모델로 만듬 -> 지도학습, 비지도학습, 강화학습 등

5. 인식 : 입력 데이터의 분류를 결정

패턴인식 문제 종류

1. 분류 classification

 - 입력 데이터에 특정 클래스를 줌(어디에 속하는지 분류해줌)

 * 모호한 퍼지같은 결과가 아니라, 분류에 대한 명확한 정수 라벨링이 수행됨

2. 회귀 regression

 - 표본 데이터로 입력 데이터를 예측가능한 모델을 만듬 -> 회귀분석

3. 군집화 clustering

 - 표본 데이터들이 서로 어느 그룹에 속하는지 분류

=> 아래의 그림은 머신러닝, 패턴인식 문제들의 종류를 정리한 것임

패턴인식에서의 분류

- 특징 공간에 존재하는 클래스들을 분할해주는 경계를 찾는 문제

 => 분류란? 결정 경계 decision boundaries를 찾는 문제

- 아래의 그림은 모델이 올바르게 분류할수 있는 결정 경계를 찾는 과정을 보여줌

분류기의 형태

- 분류기는 판별 함수 discriminant functions g(x)의 집합으로 정리할 수 있음.

 => 입력 특징 벡터 x가 주어질때, x는 g_n(x)가 가장 큰 n에 속함

패턴 인식의 접근 방법

1. 통계적 접근 방법

 - 통계 모델을 이용한 패턴 분류 -> 통계 모델 = 해당 클래스별 확률 밀도 함수, 베이즈 결정 규칙으로 분류

2. 신경망 접근 방법

 - 신경망 구현. 표본 데이터로 신경망 가중치 훈련 -> 입력 패턴에 대해 인식

- 아래의 그림은 통계적 방법 예시 : 샘플 데이터로 봉우리 형태의 확률 밀도 함수를 띔

- 신경망 방법 예시 : 입력 벡터(패턴)에 대해 신경망 가중치들이 조정됨

패턴 인식 예시

1. 문자 인식

2. 보안

3. 사물 분류 등 

패턴인식 Pattern Recognition

- 분야 : 인지과학 + 인공지능 분야 중하나

 * 인지 과학 : 심리, 컴퓨터 사이언스, 언어 등을 통합하여 지능을 다루는 학문 분야

 * 인공 지능 : 사람의 학습, 추론 능력을 인공적 모델링을하고, 프로그램으로 구현 기술

- 패턴인식이란 ? : 센싱을 통해 얻은 정보로 대상을 다루는 분야

패턴 pattern

- 패턴 = 특징

- 특징을 모아놓은 집합

- 특징 ? 물체가 가진 고유한 특성

특징 feature의 종류

- 색상, 높이, 넓이, 무게 등

특징 벡터

- d 차원의 특징 열벡터

- 아래는 1차원 특징 벡터와 2차원 특징 벡터를 보여줌

특징 공간

- 특징 벡터가 정의되는 공간

- 1차원 특징 공간의 경우 : 특징 길이가 1

- 2차원 특징 공간의 경우 : 특징 길이가 2

- 3차원 특징 공간의 경우 : 특징 길이가 3

 => 아래의 예시는 사람 별로 나이, 키, 몸무게가 주어질때 특징공간에서 표현한 것

- n차원 특징 공간의 경우 : 특징 길이가 4

 => 아래의 예시는 나이의 변화에 따라 키와 몸무게, 발 크기가 변하는 특징 공간을 보여줌

패턴 인식이란?

- 특징 벡터인 패턴이 주어질때 이 패턴이 어디에 속하는지 찾아내는 문제

 => 분류 classification이라고 부름 = 특징 벡터 x가 주어질때 클레스 omega를 찾는 문제

- ex. 키와 몸무게로 남성 여성을 분류하는 문제

 => 아까 2차원 특징 공간에서 남성과 여성을 분류 한다면 다음과 같이 분류 가능할듯

좋은 특징과 나쁜 특징

- 좋은 특징 : 분류하기 좋은 특징

  => 선형/비선형 모델로 분류 가능

- 분류하기 힘든 특징 => 나쁜 특징

  => 선형/비선형 모델로  분류가 힘듬 + 아웃라이어 심함

패턴의 유형

1. 선형 분류가 가능한 패턴

2. 비선형 분류가 가능한 패턴

3. 상관관계가 큰 패턴

4. 멀티 모달인 패턴(봉우리가 2개 이상인 패턴)