본문 바로가기

컴퓨터/인공지능 및 기계학습 개론1

1.3. MAP

MLE가 다가 아니다.

50 대 50 이라는 사전 정보를 가미한 theta를 넣으면 어떻게 될까?

데이터를 활용해서 latent factor를 알아보자. (theta가 가미되었을 때 Data가 발생될 확률)

P(D) : theta가 바뀌는 것에 대해서 영향을 받지 않으므로 제외하면, 좌변과 우변이 서로 비례한다.

 

이 때, P(theta)는 Beta distribution에 의해,

 

즉, B(alpha, beta)는 alpha와 beta에 의해 영향을 받는다.

또한 위의 좌변과 우변이 비례하는 상황에서 B(alpha, beta)는 theta에 영향을 받지 않으므로 constants이다. 따라서 이를 제외하고 다시 쓰면,

 

가 된다. MLE에선,

이번 MAP에선, 

MLE와는 조금 다른 값을 가진다.(50 대 50이라는 사전 정보를 넣음으로써 생기는 확률)

조금 다른데, 많은 실험에 의해 alpha와 beta라는 사전 정보의 값이 사라지고, aH와 aT값이 커짐으로써 -1와 -2이 줄어들어 두 값이 같게 된다.

 

alpha, beta는 누가 결정하는 것인가?

 

관측값이 많지 않을 때 MLE와 MAP는 다른 값을 가진다.

MAP의 경우 alpha와 beta를 대입했을 때 좋은 경우, 나쁜 경우도 가질 수 있을 것이다. 

'컴퓨터 > 인공지능 및 기계학습 개론1' 카테고리의 다른 글

2.2. Introduction to Rule Based Algorithm  (0) 2021.01.23
2.1. Rule Based Machine Learning Overview  (0) 2021.01.23
1.4. Probability and Distribution  (0) 2021.01.23
1.2 MLE  (0) 2021.01.22
1.1 Motivations  (0) 2021.01.22