패턴인식 - 6. 가우시안 혼합 모델

1.가우시안 혼합모델

가우시안 혼합모델의 필요성

- 확뮬 밀도 함수를 추정하기 위해서, 샘플 데이터들이 특정한 분포(대표적으로 가우시안)을 따른다고 가정

 => 우도를 최대화하는 최우 추정법 MLE Maximization Likelihood Estimation 사용

- but. 특정한 분포를 모르는 경우 비모수적 방법인 파젠창이 있음.

 

 

가우시안 혼합 모델 Gaussian Mixture Model

- 표본 데이터 집합의 분포를 하나의 확률 밀도 함수가 아닌 여러개의 가우시안 확률 밀도함수로 데이터 분포 모델링

  => 가우시안 혼합 모델은 준 모수적 방법 semi-parametric

  => 개별 밀도 함수를 전체 확률 밀도 함수 성분 커널로 간주

- 아래의 그림은 2차원 샘플 데이터에 대한 GMM 데모델링

 * 가우시안 분포가 아니라 다른 분포도 상관없음

https://gfycat.com/ko/smugchiefhummingbird

 

 

 

 

 

 

 

 

 

 

2.가우시안 혼합모델 표현과 장점

가우시안 혼합 모델의 모델링

- 전체 확률밀도 함수는 M개의 가우시안 확률 밀도 함수의 선형 결합.

 => oemga_i번째 theta_i 파라미터를 가진 확률 밀도 함수들의 가중치를 반영한 합이 가우시안 혼합 모델

 

혼합 가중치 성분

- P(omega_i)는 혼합 가중치 성분으로 M까지 다합하면 1이됨

 

파라미터 집합의 형태

- i번째 파라미터 집합 theta_i는 다음과 같이 구성됨

- 여기서 가우시안 모델의 공분산 형태는 완전, 대각, 원형이 될수 있음.

- 혼합 성분 개수는 데이터 집합 크기에 따라 조절 가능

 

 

가우시안 혼합 모델의 장점

- 혼합 성분 개수와 파라미터 값들이 적절히 제공하면 모든 분포에대해 완벽히 모델링 가능

- 비대칭성과 다중 봉우리?(멀티모달) 특성을 가짐

 => 단일 가우시안 확률밀도함수보다 강인한 밀도 추정 가능

 

 

 

 

 

3. EM을 이용하여 GMM 모델링

GMM의 목표

- 샘플 데이터 집합 x가 주어질때 로그 우도를 최대화 하는 혼합 가우시안들의 파라미터를 추정

- K-means와 마찬가지로 EM 알고리즘으로 최적 모델 추정

 

 

GMM 관련 정의

- 샘플 데이터 집합이 x라면, 학습할 데이터 셋을 아래와 같이 x_n으로 정의

- M개의 가우시안 모델들 중 j번째 모델의 파라미터를 다음과 같이 정의

- j번쨰 개별 가우시안 확률 밀도 함수를 아래와 같이 정리

 

 

- 전체 확률 밀도 함수를 M개의 개별 확률 밀도 함수들의 선형 결합으로 정리면 

* 수식 정리하려고하는데 너무 길어진다.

GMM의 특징과 확률 밀도 함수를 추정하는 과정은 대강 이해했으니 넘어가자.

 

 

GMM 정리

- 개별 가우시안 모델들을 혼합하여 다양한 샘플데이터에도 강인하게 만든 모델

 * 여기서 분포는 가우시안 확률 분포에 한정하지 않음

- 전체 확률 분포는 M 개의 개별 확률 분포들와 가중치들의 곱 합과 같음.

- GMM의 파라미터 집합은 M개의 원소의 평균, 분산, 가중치들로 이루어짐.

- EM 알고리즘을 통해 로그 우도가 최대가 되는 지점을 찾아 해당 파라미터 hat{theta}가 최적의 가우시안 혼합 모델의파라미터 집합