컴퓨터 비전 & 패턴 인식 - 5. 확률 이론, 최대 가능도 법과 한계

x가 열린 구간 (a, b)에 속하는 경우에 대한 확률

 

확률 p(x)이 전체 구간에 대한 합

 

누적 확률 분포 함수 P(z)

 

두 확률 변수 x, y의 합. 베이즈 정리를 이용한

 

확률 분포 함수 p(x)를 따르는 일련의 함수 값 f가 주어질때 기대값

 

조건부 확률의 기대값

 

일련의 함수 f에 대한 확률 분포 

두 확률 변수와 두 벡터에 대한 공분산

 

 

 

 

베이즈 정리

 

관측 데이터 벡터 D와 확률 분포의 모수 W 사전 확률 분포 P(W)가 주어질때

 

아래의 관계를 가짐

 

사후 확률 = 가능도 x 사전 확률

 

 

 

빈도론적 관점과 베이지안적 관점

 

빈도론적 관점과 베이지안 관점에서 가능도 함수 p(D|w)는 매우 중요한데,

 

빈도론자는 추정기 estimator의 파라미터인 w는 변하지 않으며 오차를 데이터 셋의 분포라 보고,

 

베이지안은 주어진 데이터에 대한 모수의 불확실성을 w에 대한 확률분포로 나타낼수 있다고 한다.

 

 

 

최대 가능도 방법 maximum likelihood method

 

가장 널리 사용되는 빈도주의적 점 추정 방법으로 최대 가능도 방법이 있는데

 

가능도 함수 p(D|w)를 최대화 하는 계수벡터 w를 구하는 것이다.

 

이미 관측된 데이터 셋 D이 있으니 다양한 계수 벡터 w 중에서

 

최대 가능도 함수 argmax[p(D|w)] = w를 찾게 된다.

 

ref : throwexception.tistory.com/956

 

 

코인던지기로 보는 베이지안과 빈도론자의 차이

 

베이지안의 장점은 사전확률을 활용한다는 점인데

 

다음 실험을 통해 살펴보면

 

3개의 동전을 던지는 실험을 했을때, 세 동전다 앞면이 나왔다.

* D = [1, 1, 1]

 

이 경우, 빈도주의적 방법인 최대 가능도 추정법을 이용하면 앞으로의 추정확률은 1이 된다.

 

하지만 실제로는 계속 1이 나올리가 없으며,

 

베이지안의 관점에서는 기존의 실험에서 계속 1이 나왔으므로(사전 확률),

 

이후 1이 나올 확률(사후 확률)은 크게 줄어든다.

 

 

 

 

 

베이지안 관점의 한계

 

사전 확률을 믿음도로 구하기 보다는 수학적으로 편한것으로 고르거나

 

사전 확률을 잘못 구한 경우 좋지 못한 결과를 얻으며

 

이론 자체는 18세기에 나왔지만 가능한 전체 모수 공간을 주변화해서 다루기는 힘들어

 

실제 응용할 수가 없었다.

 

하지만 마르코브 체인 몬테카를로 방법같은 샘플링 방법들이 나오고,

 

컴퓨터의 계산 속도와 매모리 공간이 커짐에 따라 베이지안 기법이 사용할수 있게 되었음.

 

 

 

 

 

 

 

가우시안 분포 Guassian distribution

 

정규 분포라고도 부르며, 정규 분포를 따르는 확률 변수 x에 대한 확률 밀도 함수는

 

기대값과 2차 모멘트를 이용하여 분산을 구할 수 있음

 

 

D 차원 가우시안 분포는 아래와 같이 정리하며

 

|시그마|는 분산 행렬의 결정식

 

 

 

 

 

 

 

최대 가능도 법으로 가우시안 분포의 모수 추정하기

 

다음과 같이 관측 벡터 x가 주어질때

 

가능도 함수는 아래와 같으며

가능도 함수를 최대화 하는 모수를 찾아야 한다.

최대 가능도 함수를 음의 로그 변환을 수행한 후

각 모수에 대해 미분하여 가장 가능성이 높은 모수들을 구하자

 

 

 

 

최대 가능도법의 한계

 

방금 단변수 가우시안 분포에 대해 최대 가능도 법으로 모수를 추정하였지만

 

이 방법에는 분산을 저평가 한다는 문제점이 있습니다.

 

추정 평균과 추정 분산의 기대값은 아래와 같은데,

 

추정 평균의 기대값은 모평균을 동일하지만

 

추정 분산의 기대값은 (N - 1)/N * 모 분산으로 실제 분산보다 작아지는 현상이 발생합니다. 

 

위 결과는 표본 분산으로부터 계산해서 얻을 수 있습니다.

* 표본 분산의 기대값은 모분산이므로.

 

 

주어진 정규분포로 부터 취득한 3개의 샘플 데이터로 추정한 평균과 분산인데

 

3가지 결과 다 모분산보다 추정 분산이 작게 나올수 밖에 없습니다.