MATH & ML

Recurrent Neural Network(RNN)먼저 recurrent라는 단어의 뜻은 '되풀이이되는, 반복되는'이다. 즉 다시말해 기존 뉴럴네트워크에서 다음스텝으로 넘어갈때의 출력결과에 이전 계산결과에 영향을 받는=되풀이 되도록 만든 neural network이다. 따라서 RNN은 연속적인 데이터(sequential Data)를 처리하는데 적합하다. 특히 NLP라 불리는 자연어처리 문제에 아주 뛰어난 성능을 보인다고 알려져있다. 실제 구글 번역기도 이 RNN을 이용한다.Rnn의 구조는 보통 하나의 네트워크를 여러개로 복사된 형태로 표시하는데데, 즉 자신의 결과가 자기자신에 다시 영향을 주는것을 펼쳐서 나타낸다. 이러한 RNN에서 weight를 업데이트하기 위해서는 기존의 Back Propagatio..

결국 우리의 목적은 우리의 모델결과와 실제 target 사이의 error를 최소화시키는데에 있다.즉 loss function을 최소화 하는 parameter(weight) W를 찾는것이 목표이다그런데 문제는 loss function이 그냥 미분해서 구할 수 없는 경우가 자주 생기며 이 대는 어떻게 이 W를 찾을지가 중요하다.이때 쓰는것이 바로 gradient descent이다.수학적으로 어떤 함수의 gradient는 그 함수의 경사가 가장 가파른 곳의 벡터를 나타내게 되는데이를 이용하여 W를 함수의 경사가 가장 가파른 방향으로 loss function이 작아지도록 계속 업데이트를 시키는 과정그게 바로 gradient descent라고 할 수 있다.문제는 이 과정중에 local minimum이나 saddl..

1. GAN(Generative Adversarial Nets) :generator와 discriminator 두 개가 서로 대립해 나가며 서로의 성능을 점차 개선해 나가는 과정을 이용하여 만든 neural network 2. CNN(Convolution Neural Network) : 기존 뉴럴네트워크에 convolution기법을 더해서 neural network에 입력할 데이터를 미리 전처리하는거. 그림으로 치자면 필터하여 중요한 특징들만 뽑아내는 전처리 과정.참고 사이트 : https://www.slideshare.net/leeseungeun/cnn-vgg-72164295(dropout/RELU) 3. 기타용어들 정리sparse : 희박한(너무별거아니였다ㅋㅋㅋㅋㅋ)perturbation : 작은변화..

MLE&MAP 주어진 데이터를 가장 잘 설명하는 함수를 찾는게 목표인데,그 함수의 분포를 가정하고 그 변수를 찾는걸로 대신 할 수 있다.즉 변수가 주어졌을때 데이터들에 대한 확률이 최대가 되는 변수를 구하는것,이게 MLE인데, MLE은 데이터에 따라 너무 민감하게 변한다는 단점이 있다.그래서 나온게 MAP인데,이 방법은 그 분포의 변수가 주어지고, 그 변수에 대한 데이터들의 확률(=분포)을 최대화하지 않고,주어진 데이터에 대해 최대 확률(=분포)을 가지는 변수를 찾는다.즉 주어진 데이터를 설명하는 것 뿐 아니라 그 설명을 가장 잘하는 변수를 찾는것이기 때문에 더 정확한 측정이 가능하다.베이즈 정리를 이용해보면 기존 변수에 대한 함수에 대한 더 좋은 가정이 있다면 더 좋은 추측을 할 수 있다는 것이다.이때..

git clone (주소)git log : 누가 커밋했는지 최신부터 순서대로 나옴git status : 내가 새로운 파일 만든거 변경사항이 있는지 확인(commit 상태 확인)git reset HEAD (파일이름) : add했던거 취소하기(commit한거는 reset안됨)git commit --amend : commit 내용을 수정할 때 사용git reset --hard (노란색 commit주소) : 그 주소로 다시 되돌아간다git diff : git pull해온 문서에서 내가 수정한 부분만 초록색으로 보여준다.git diff >> JY.patchgit apply JY.patch 먼저 git pull해와서 가져오고 그다음에working area - index(stage) - head add -> comm..