MATH & ML

아이디어) KL 메져가 제일 좋고 유일하다 : KL은 bregdivergence에도 포함되어있고, f-divergence에도 포함되어있다. 1) Bregman divergence prob model $p(x;\theta)=\frac{\exp(-\theta\cdot x)}{z}$ (exponential family) $\theta$ : natural parameter $z=\sum_x \exp(-\theta\cdot x)$ : constant for sum=1 $\psi(\theta)=\log z(\theta)$ 가 cumulant generating ftn(free energy)이 된다 (미분하면 expectation $-\frac{\psi}{\partial \theta_i}\mathbb{E}[x_i]:..

ML의 전반적인 가정 : 데이터의 distribution을 모른다!! (다 같은말) 데이터의 distribution = true prob density function = data generating prob density function = underlying prob density function

참고한 사이트 1. https://hellbell.tistory.com/entry/Sublime-Text-3-Latex-Plugin-%EC%84%A4%EC%B9%98-in-Windows-7 (설치 설명) 2. https://www.lucypark.kr/blog/2011/09/19/compiling-bibtex/ (bibtex 어떻게 만드는지) 3. https://sammorrell.co.uk/2016/08/14/beginning-with-bibtex/ (2.는 sublime text3에서 bibtex은 어떻게 사용해야할지 찾다가 발견한 글인데, 결론은 기존 pdflatex과 biblatex을 번갈아 조판해줘야 하는 과정 대신, 그냥 Ctrl+b 하나면 Bibtex까지 완성시킨다는 내용포함한 글)

1. Ensemble이란 여러 모델을 이용하여 데이터를 학습하고, 모든 모델의 예측 결과를 평균하여 예측하는 방법(앙상블=뭔가 통합? 합쳐서 함께 어우른다는 느낌)1-1) Bagging방법이란 Bootstrap Aggregation의 약자로, 병렬적인 Ensemble모델로서 random sampling을 통해 여러가지 예측모형을 만들어 이를 함께 이용하여 학습하는, Variance를 감소시키기 위해 쓰는 방법(Random Forest)1-2) Boosting방법이란 Bagging방법의 변형으로 이전 모델이 예측하지 못한 데이터에 대하여 가중치를 두어서 다음 모델이 더 학습을 잘 할 수 있도록 하는 방법, Bias를 감소시키기 위해 쓰는 방법(Xgboost, Gradient Boosting, AdaBoos..

1. for문에 따른 내용이 한줄이여도 for문 밑에 다음줄로 넘겨서! 대신 괄호는 생략해서2.if문으로 경우를 나눌때 A경우일때만 실행을 하고싶으면 if(~A)면 return; 으로 처리해서 if문 전체를 끝내버릴수 있도록 한다.return; 을 잘 활용해서 함수를 딱 그 시점에 종료하는걸로 사용하면 좋다.3. 딱 정확히 2가지로만 나뉘는 경우 if(A) a else b 는 삼항연산자로 A? a:b 로 써주면 좋다.(예시)int factorial(int number){ return (!number) ? 1 : number * factorial(number-1);}