컴퓨터 비전 & 패턴 인식 - 6. 확률론적 커브피팅

지난번에 커브피팅하는 방법을 오차 최소화 함으로써 구해보았는데

 

이번에는 확률론적인 관점에서 보자

 

입력 벡터 x, 계수 벡터 w, 그리고 정밀도 파라미터 beta가 주어질때,

 

타겟 벡터 t에 대한 확률이 가우시안 분포를 따른다면 아래와 같이 정리할수 있다.

 

위 식에서 beta는 정밀도 계수인데

 

베타의 역수가 정규분포의 분산이 된다.

 

정밀도가 1에 가까우면 정규분포의 분산이 줄어들고

 

정밀도가 0에 가까우면 정규분포의 분산이 커지게 된다.

 

 

 

이제 훈련 데이터 x, t가 주어질떄 최대가능도법으로 다항 계수 벡터 w와 정밀도 베타를 구해보자

 

우선 가능도 함수를 정의하고,

 

이 가능도 함수를 음의 로그변환을 시켜주면 아래와 같다.

 

 

이전에 했던방법대로

 

훈련 데이터 x, t가 주어질때 오차를 최소화 하는 다항 계수 벡터와 베타를 구할수 있는데

 

베타 최대 가능도 추정량은 경우 다음과 같이 정리할수 있다.

 

 

 

이제 다항 계수 벡터 w와 정밀도 beta의 최대 가능도 추정량을 구하였으므로

 

새로운 데이터 x가 주어질때 다항 회귀 값인 t를 추정하는 확률 모델(가능도 함수)를 구할수 있는데

 

이 모델은 단순이 첨추정할뿐만이 아니라 확률 분포를 알려주는 예측 분포 predictive distribution라고 부르겠다.

 

 

 

베이지안 방법을 하기 위해서

 

다항 회귀 계수에 대한 사전 확률 분포를 정의하면 

 

아래와 같은데, 여기서 알파값은 이 분포의 정밀도로 직접 조절하는 값 하이퍼 파라미터라 부른다.

 

베이즈 정리를 이용해서 w에 대한 사후확률 분포는 

 

아래와 같이 가능도 확률 모델과 사전 확률 분포의 곱으로 정의하여 구하며,

 

학습 데이터 x, t와 하이퍼 파라미터 알파 베타가 주어졌을때

 

가장 가능성 있는 w에 대한 사후확률 분포를 구하는것을 사후확률 최대화 방법 MAP라 부른다.