MATH & ML

데이터에서 outlier를 구별해내는것이 목표.어디서부터 outlier로 여길것이며, outlier도 한종류의 outlier가 아닌 여러종류의 outlier가 포함되어 있을 수도 있어서, 기존 classify하던 머신러닝 기법들을 그대로 적용하기 힘들며, 최근에도 계속해서 여러 방법들이 나오고 있는 상태이다.중요한것은! 어떤걸 정상상태로 보고, 어떤걸 이상상태로 볼 것인지 기준을 정하는 것이다. 따라서 이를 위해서는 그 데이터에 대한 domain knowledge가 아주 중요하게 필요하다.어려운 점 중 또 하나는 보통의 경우 unsupervised 문제들이 많다는 어려운 점도 있다. 1. 거리기반쉽게 생각할 수 있는 방법으로는 거리를 바탕으로 k-nn알고리즘을 이용할 수도 있다. 2. 의존성(depend..

실제 산업데이터를 관찰하다보면 Data의 feature 중 몇 가지에 대해 빠져있는 경우가 자주있다. 이때 이 빈 feature를 어떻게 채워볼 수 있을까 1. deletion(most common)data가 많을땐 괜찮은데 적으면 문제가 된다. 또한 지울때에 결측치가 랜덤할경우는 상관없는데 완전히 랜덤이 아니라 편향된 정보에 대해서 결측치가 있는경우에는 이 지우는 방법이 문제가 될 수 있다. 2. hot deck다른 값들로 대체하는것 3. cold deck알고있는 지식으로 적당한 값으로 채우는것 4. mean substituion평균으로 채우는것 5. regression다른 것들을 바탕으로 의미를 부여해서 채우는 방법 6. multiple imputation가능한 모든 값들을 채운 여러 data를 만들..

hyperparameter?hyperparameter란 machine learning 학습을 할 때에 더 효과가 좋도록 하는 주 변수가 아닌 자동 설정 되는 변수를 의미한다. 그 hyperprarmeter의 예시로는 다음과 같은 것들이 있다.1. learning rategradient를 할 때에 iteration마다 얼마나의 gap으로 빠르게 혹은 느리게 이동할지 결정하는 계수 2. error function실제 아웃풋과 우리가 계산한 아웃풋 사이의 차이를 error function이라고 하는데 이 때 이 둘의 차이를 어떠한 방식으로 계산할지에 따라 error function이 달라지는데 이 또한 무엇으로 할지는 hyperparmeter로서 무엇을 고를지 잘 정해야한다. 3. batch sizemini ..