MATH & ML

MLE MAP Prior Posterior 본문

Machine Learning

MLE MAP Prior Posterior

BlogYong 2018. 3. 28. 10:04

MLE&MAP


주어진 데이터를 가장 잘 설명하는 함수를 찾는게 목표인데,

그 함수의 분포를 가정하고 그 변수를 찾는걸로 대신 할 수 있다.

즉 변수가 주어졌을때 데이터들에 대한 확률이 최대가 되는 변수를 구하는것,

이게 MLE인데, MLE은 데이터에 따라 너무 민감하게 변한다는 단점이 있다.

그래서 나온게 MAP인데,

이 방법은 그 분포의 변수가 주어지고, 그 변수에 대한 데이터들의 확률(=분포)을 최대화하지 않고,

주어진 데이터에 대해 최대 확률(=분포)을 가지는 변수를 찾는다.

즉 주어진 데이터를 설명하는 것 뿐 아니라 그 설명을 가장 잘하는 변수를 찾는것이기 때문에 더 정확한 측정이 가능하다.

베이즈 정리를 이용해보면 기존 변수에 대한 함수에 대한 더 좋은 가정이 있다면 더 좋은 추측을 할 수 있다는 것이다.

이때 나오는게

likelihood : 관찰한 것

prior : 변수(=현상)에 대한 사전 정보

posterior : 주어진 데이터에 대한 변수의 확률

이다.

'Machine Learning' 카테고리의 다른 글

sequence to sequence(seq2seq)  (0) 2018.04.23
RNN(Recurrent Neural Network)  (1) 2018.04.23
gradient descent  (0) 2018.04.13
머신러닝 용어 몇 가지 정리(GAN, CNN)  (0) 2018.03.29
머신러닝에서의 hyperparameter  (0) 2018.02.06
Comments