MATH & ML

ML의 전반적인 가정 : 데이터의 distribution을 모른다!! (다 같은말) 데이터의 distribution = true prob density function = data generating prob density function = underlying prob density function

1. Ensemble이란 여러 모델을 이용하여 데이터를 학습하고, 모든 모델의 예측 결과를 평균하여 예측하는 방법(앙상블=뭔가 통합? 합쳐서 함께 어우른다는 느낌)1-1) Bagging방법이란 Bootstrap Aggregation의 약자로, 병렬적인 Ensemble모델로서 random sampling을 통해 여러가지 예측모형을 만들어 이를 함께 이용하여 학습하는, Variance를 감소시키기 위해 쓰는 방법(Random Forest)1-2) Boosting방법이란 Bagging방법의 변형으로 이전 모델이 예측하지 못한 데이터에 대하여 가중치를 두어서 다음 모델이 더 학습을 잘 할 수 있도록 하는 방법, Bias를 감소시키기 위해 쓰는 방법(Xgboost, Gradient Boosting, AdaBoos..

데이터에서 outlier를 구별해내는것이 목표.어디서부터 outlier로 여길것이며, outlier도 한종류의 outlier가 아닌 여러종류의 outlier가 포함되어 있을 수도 있어서, 기존 classify하던 머신러닝 기법들을 그대로 적용하기 힘들며, 최근에도 계속해서 여러 방법들이 나오고 있는 상태이다.중요한것은! 어떤걸 정상상태로 보고, 어떤걸 이상상태로 볼 것인지 기준을 정하는 것이다. 따라서 이를 위해서는 그 데이터에 대한 domain knowledge가 아주 중요하게 필요하다.어려운 점 중 또 하나는 보통의 경우 unsupervised 문제들이 많다는 어려운 점도 있다. 1. 거리기반쉽게 생각할 수 있는 방법으로는 거리를 바탕으로 k-nn알고리즘을 이용할 수도 있다. 2. 의존성(depend..

실제 산업데이터를 관찰하다보면 Data의 feature 중 몇 가지에 대해 빠져있는 경우가 자주있다. 이때 이 빈 feature를 어떻게 채워볼 수 있을까 1. deletion(most common)data가 많을땐 괜찮은데 적으면 문제가 된다. 또한 지울때에 결측치가 랜덤할경우는 상관없는데 완전히 랜덤이 아니라 편향된 정보에 대해서 결측치가 있는경우에는 이 지우는 방법이 문제가 될 수 있다. 2. hot deck다른 값들로 대체하는것 3. cold deck알고있는 지식으로 적당한 값으로 채우는것 4. mean substituion평균으로 채우는것 5. regression다른 것들을 바탕으로 의미를 부여해서 채우는 방법 6. multiple imputation가능한 모든 값들을 채운 여러 data를 만들..

Variational Autoencoder(VAE)는 다시 말하지만 기존의 AE 와 태초부터 탄생 배경이 다른데 다 따지고 결국 전체적인 구조를 보니 AE와 주조가 같아서 autoencoder라는 이름이 붙게 된거라고 볼 수 있다.VAE의 목적은 어떤 데이터 X에 대해서 그 X에 영향을 주는 어떤 잠재변수(latent variable) Z가 존재한다고 가정을 하고, 그 Z를 찾아내는데에 목적이 있다. 즉 이 Z를 찾아내면 우리는 기존 트레이닝 데이터에 없지만 의미를 가지는 데이터들을 만들어 낼 수 있다는 것이다. 즉 트레이닝 데이터 각 x에 대해서 p(x)를 최대화 시키고 싶은게 목표이다.$$P(X) = \int_P(X|z)P(z) dz$$ 이 VAE에서 generative model관점으로 살펴보면 그..