MATH & ML

2014년 처음등장!! 불어-영어 번역을 위해!s2s란 RNN을 이용하여 문장을 학습할 수 있는 모델 중 하나이다.크게 2개의 RNN, 인코더-RNN-셀과 디코더-RNN-셀로 이루어져있다.(총 2개의 LSTM셀)인코더 부분에서는 입력 응답을 받아 하나의 hidden code 값으로 표현을 해주어 이를 디코더에 보내주고,디코더에서는 앞의 hidden code 값과 문장의 시작을 의미하는 tag를 입력받아 가장 적합한 결과 단어를 추출해준다. 이 이후 과정에서는 train일때와 test일때가 조금 다른데,train과정에서는 디코더의 아웃풋과는 별개로 기존 우리가 알고있는 답이 들어가고, test과정에서는 전의 디코더 아웃풋이 다음 디코더의 인풋으로 들어가게 된다. 참고자료 - 참고한 사이트들https://r..

Recurrent Neural Network(RNN)먼저 recurrent라는 단어의 뜻은 '되풀이이되는, 반복되는'이다. 즉 다시말해 기존 뉴럴네트워크에서 다음스텝으로 넘어갈때의 출력결과에 이전 계산결과에 영향을 받는=되풀이 되도록 만든 neural network이다. 따라서 RNN은 연속적인 데이터(sequential Data)를 처리하는데 적합하다. 특히 NLP라 불리는 자연어처리 문제에 아주 뛰어난 성능을 보인다고 알려져있다. 실제 구글 번역기도 이 RNN을 이용한다.Rnn의 구조는 보통 하나의 네트워크를 여러개로 복사된 형태로 표시하는데데, 즉 자신의 결과가 자기자신에 다시 영향을 주는것을 펼쳐서 나타낸다. 이러한 RNN에서 weight를 업데이트하기 위해서는 기존의 Back Propagatio..

결국 우리의 목적은 우리의 모델결과와 실제 target 사이의 error를 최소화시키는데에 있다.즉 loss function을 최소화 하는 parameter(weight) W를 찾는것이 목표이다그런데 문제는 loss function이 그냥 미분해서 구할 수 없는 경우가 자주 생기며 이 대는 어떻게 이 W를 찾을지가 중요하다.이때 쓰는것이 바로 gradient descent이다.수학적으로 어떤 함수의 gradient는 그 함수의 경사가 가장 가파른 곳의 벡터를 나타내게 되는데이를 이용하여 W를 함수의 경사가 가장 가파른 방향으로 loss function이 작아지도록 계속 업데이트를 시키는 과정그게 바로 gradient descent라고 할 수 있다.문제는 이 과정중에 local minimum이나 saddl..

1. GAN(Generative Adversarial Nets) :generator와 discriminator 두 개가 서로 대립해 나가며 서로의 성능을 점차 개선해 나가는 과정을 이용하여 만든 neural network 2. CNN(Convolution Neural Network) : 기존 뉴럴네트워크에 convolution기법을 더해서 neural network에 입력할 데이터를 미리 전처리하는거. 그림으로 치자면 필터하여 중요한 특징들만 뽑아내는 전처리 과정.참고 사이트 : https://www.slideshare.net/leeseungeun/cnn-vgg-72164295(dropout/RELU) 3. 기타용어들 정리sparse : 희박한(너무별거아니였다ㅋㅋㅋㅋㅋ)perturbation : 작은변화..

MLE&MAP 주어진 데이터를 가장 잘 설명하는 함수를 찾는게 목표인데,그 함수의 분포를 가정하고 그 변수를 찾는걸로 대신 할 수 있다.즉 변수가 주어졌을때 데이터들에 대한 확률이 최대가 되는 변수를 구하는것,이게 MLE인데, MLE은 데이터에 따라 너무 민감하게 변한다는 단점이 있다.그래서 나온게 MAP인데,이 방법은 그 분포의 변수가 주어지고, 그 변수에 대한 데이터들의 확률(=분포)을 최대화하지 않고,주어진 데이터에 대해 최대 확률(=분포)을 가지는 변수를 찾는다.즉 주어진 데이터를 설명하는 것 뿐 아니라 그 설명을 가장 잘하는 변수를 찾는것이기 때문에 더 정확한 측정이 가능하다.베이즈 정리를 이용해보면 기존 변수에 대한 함수에 대한 더 좋은 가정이 있다면 더 좋은 추측을 할 수 있다는 것이다.이때..