컴퓨터 비전 & 패턴 인식 - 9. 패턴인식과 확률분포

이번에는 확률 분포와 이들의 속성을 살펴볼건데

 

이 확률 분포들은 다양한 모델들을 만드는데 사용된다.

 

이번에는 베이지안 추론 같은 핵심 통계wjr 개념들을 살펴보고,

 

차후에 간단한 모델을 만들어보자.

 

N개의 유한개의 관측 집합으로 확률 변수 x에 대한 확률 분포를 구할건데

 

이 문제를 밀도 추정 density estimation이라 부른다.

 

이 문제를 다루기 위해서 모든 점 데이터들은 독립적이며 동일한 분포를 따른다고 가정할 것이며,

 

관측 된 데이터셋으로 너무 많은 확률 분포들을 구할수 있기 때문에 이런 밀도 추정의 근본적인 한계도 볼것이다.

 

그래서 이전에 다항 커브 피팅 시 적절한 분포를 선택하는 문제를 다뤄봤으며, 패턴 인식의 핵심 문제이기도 하다.

 

 

 

 

 

모수적 밀도추정 parametric density estimation

 

이산 확률 변수를 다루는 이항 분포와 다항 분포를 다뤄볼것이고, 연속 확률 변수에 대한 가우시안 분포를 살펴볼것이다.

 

이들은 평균과 분산같은 몇가지의 수로 주요 성질들을 나타낼수 있어

 

모수 분포 parametric distribution이라고도 부른다.

 

이 모델들로 밀도 추정에 사용하기 위해선, 주어진 데이터로부터 적절한 모수 값들을 찾아내어야 하는데

 

빈도주의자들은 가능도 함수 같은 몇가지 기준들을 최적화하는 방식으로 모수들을 찾아낸다.

 

베이지안의 경우에는 모수에 대한 사전 확률을 구하고,

 

베이즈 정리를 통해 관측 데이터가 주어지면 이로부터 사후확률을 계산한다.

 

여기서 켤레 사전 분포가 얼마나 중요한 역활을 하는지 보게 될건데 베이지안 분석을 간소화 시키게 한다.

* 켤레 분포 conjugate distribution : 베이즈 정리의 사전, 사후확률을 켤레 분포라 부름

* 켤레 사전 확률분포 conjugate prior : 결레 분포중 사전 확률 분포

* ref : en.wikipedia.org/wiki/Conjugate_prior

 

다항 분포의 모수에 대한 켤레 사전 확률 분포는 dirichlet 분포라 부르고,

 

가우시안 분포의 평균에 대한 켤레 사전 확률 분포는 다른 가우시안 분포가 된다.

 

이러한 모든 분포들을 확률 분포의 지수족이라 하며, 매우 중요한 속성들을 가지고 있으므로 자세히 살펴보아야한다.

 

 

 

 

 

 

 

 

비모수적 밀도추정 nonparametric density estimation

 

모수적 방법의 한계로는 특정한 확률 분포를 따른다는 점인데, 특정 상황에서는 부적절할 때가 있다.

 

그래서 이를 대신하는 방법으로 비모수적 밀도 추정 방법이 있는데,

 

이는 데이터 셋의 크기에 의존하는 확률 분포의 형태를 띄며

 

이 모델역시 모수를 가지고 있지만, 분포의 형태 보다는 모델의 복잡도를 제어한다.

 

마지막으로 세가지 비모수적 방법인 히스토그램과 최근접이웃, 커널 방법들을 살펴보겠다.