MATH & ML

데이터에서 outlier를 구별해내는것이 목표.어디서부터 outlier로 여길것이며, outlier도 한종류의 outlier가 아닌 여러종류의 outlier가 포함되어 있을 수도 있어서, 기존 classify하던 머신러닝 기법들을 그대로 적용하기 힘들며, 최근에도 계속해서 여러 방법들이 나오고 있는 상태이다.중요한것은! 어떤걸 정상상태로 보고, 어떤걸 이상상태로 볼 것인지 기준을 정하는 것이다. 따라서 이를 위해서는 그 데이터에 대한 domain knowledge가 아주 중요하게 필요하다.어려운 점 중 또 하나는 보통의 경우 unsupervised 문제들이 많다는 어려운 점도 있다. 1. 거리기반쉽게 생각할 수 있는 방법으로는 거리를 바탕으로 k-nn알고리즘을 이용할 수도 있다. 2. 의존성(depend..

실제 산업데이터를 관찰하다보면 Data의 feature 중 몇 가지에 대해 빠져있는 경우가 자주있다. 이때 이 빈 feature를 어떻게 채워볼 수 있을까 1. deletion(most common)data가 많을땐 괜찮은데 적으면 문제가 된다. 또한 지울때에 결측치가 랜덤할경우는 상관없는데 완전히 랜덤이 아니라 편향된 정보에 대해서 결측치가 있는경우에는 이 지우는 방법이 문제가 될 수 있다. 2. hot deck다른 값들로 대체하는것 3. cold deck알고있는 지식으로 적당한 값으로 채우는것 4. mean substituion평균으로 채우는것 5. regression다른 것들을 바탕으로 의미를 부여해서 채우는 방법 6. multiple imputation가능한 모든 값들을 채운 여러 data를 만들..

Variational Autoencoder(VAE)는 다시 말하지만 기존의 AE 와 태초부터 탄생 배경이 다른데 다 따지고 결국 전체적인 구조를 보니 AE와 주조가 같아서 autoencoder라는 이름이 붙게 된거라고 볼 수 있다.VAE의 목적은 어떤 데이터 X에 대해서 그 X에 영향을 주는 어떤 잠재변수(latent variable) Z가 존재한다고 가정을 하고, 그 Z를 찾아내는데에 목적이 있다. 즉 이 Z를 찾아내면 우리는 기존 트레이닝 데이터에 없지만 의미를 가지는 데이터들을 만들어 낼 수 있다는 것이다. 즉 트레이닝 데이터 각 x에 대해서 p(x)를 최대화 시키고 싶은게 목표이다.$$P(X) = \int_P(X|z)P(z) dz$$ 이 VAE에서 generative model관점으로 살펴보면 그..

항상 공부를 하다보면 각 모델이나 방식마다 Generative model과 Discriminate model이라는 말이 나오면 항상 어려웠고 너무 헷갈렸기에 이를 내가 다시 이해해본 그대로 정리해보려고 한다. (출처 : http://sens.tistory.com/408) Generative model과 Discriminate model는 위키에 따르면 classification 경우에 정의를 한다. classification을 하는 경우 위의 사진처럼 각 x 데이터마다 label된 class y가 있을 것이고, 목적은 P(YlX)를 최대화 하는 Y를 찾는 것, 즉 새로운 X에 대하여 그 X가 어느 Y 클래스로 분류될 가능성이 큰지이다. 즉 X라는 데이터가 주어졌을 때의 파라미터의 함수, 즉 posteri..

Autoencoder는 dimensionality reduction이면서 동시에 non-parametric Density Estimation인데기존의 dimensionality reduction과의 차이 & 기존의 density estimation과의 차이는바로 기존의 방법들이 Nerighborhood based training인데 이 Neighborhood기반의 방법들은 '고차원에서 가까운 애들은 왠만하면 manifold(저차원)에서도 가까울꺼야'라는 가정하에 진행한다. 하지만 고차원일수록 manifold를 잘 찾지 못하면 그 고차원에서의 거리는 실제 우리가 생각하는 거리와 다를 수 있다! 이것이 기존의 방법들과 autoencoder의 차이이다.2000년 초반쯤에 나온 autoencoder는 Deep ..