MATH & ML

항상 공부를 하다보면 각 모델이나 방식마다 Generative model과 Discriminate model이라는 말이 나오면 항상 어려웠고 너무 헷갈렸기에 이를 내가 다시 이해해본 그대로 정리해보려고 한다. (출처 : http://sens.tistory.com/408) Generative model과 Discriminate model는 위키에 따르면 classification 경우에 정의를 한다. classification을 하는 경우 위의 사진처럼 각 x 데이터마다 label된 class y가 있을 것이고, 목적은 P(YlX)를 최대화 하는 Y를 찾는 것, 즉 새로운 X에 대하여 그 X가 어느 Y 클래스로 분류될 가능성이 큰지이다. 즉 X라는 데이터가 주어졌을 때의 파라미터의 함수, 즉 posteri..

네이버 d2에서 이활석님께서 아주아주 최근에 발표하신 영상과 슬라이드를 공유해 놓으셨다.(링크는 맨아래)목적은 autoencoder를 설명하기 위함인데 이를 위해 초반부분에 deep Neural Network와 관련된 기초적인 내용을 먼저 설명해주셨는데영상을 보면 볼수록 설명을 쉽게 정리잘되게 해주셔서!머신러닝의 전반적인 내용을 이곳저곳 찾아보고 영상도 보며 큰 그림을 정리해보려 한다. 먼저 머신러닝에서 하는 건 큰 그림으로 볼때 다음 사진처럼 정리 할 수 있다.데이터가 주어지면 그걸로 어떤 알고리즘, 즉 모델을 학습하고, 이제 그 학습된 모델을 실제 정답의 모델과 거의 미슷하다고 가정하고 거기에 test data를 넣어서 나온 결과가 우리가 원하는 결과이다. (보니까 이건 supervised learn..

MLE&MAP 주어진 데이터를 가장 잘 설명하는 함수를 찾는게 목표인데,그 함수의 분포를 가정하고 그 변수를 찾는걸로 대신 할 수 있다.즉 변수가 주어졌을때 데이터들에 대한 확률이 최대가 되는 변수를 구하는것,이게 MLE인데, MLE은 데이터에 따라 너무 민감하게 변한다는 단점이 있다.그래서 나온게 MAP인데,이 방법은 그 분포의 변수가 주어지고, 그 변수에 대한 데이터들의 확률(=분포)을 최대화하지 않고,주어진 데이터에 대해 최대 확률(=분포)을 가지는 변수를 찾는다.즉 주어진 데이터를 설명하는 것 뿐 아니라 그 설명을 가장 잘하는 변수를 찾는것이기 때문에 더 정확한 측정이 가능하다.베이즈 정리를 이용해보면 기존 변수에 대한 함수에 대한 더 좋은 가정이 있다면 더 좋은 추측을 할 수 있다는 것이다.이때..