MATH & ML

기존의 cnn의 문제점을 개선하여 나온 새로운 모델.cnn은 마지막 layer로 갈수록 더 복잡한 특징들(complex feature)을 나타내게 되는데 이는 단순히 이전 낮은 layer들의 가중치합을 이용하였다. 이러한 합은 기존의 simple feature와 complex feature사이의 위치관계를 전혀 고려하지 않아 문제가 된다. 예를들어 사람얼굴을 인식할 때에 사람눈이 이마에 2개 붙어있는 얼굴도 얼굴로 인식한다는 것이 문제이다.cnn에서는 이 문제를 해결하기위해 max pooling이라는 방법을 사용하여 size를 줄여주면서 높은 layer의 시야를 넓혀 줌으로서 공간적인 정보들까지 얻을 수 있도록 했다.하지만 힌튼은 맥스 풀링이 invariance를 보존 할 뿐 우리가 필요한 equivar..

2014년 처음등장!! 불어-영어 번역을 위해!s2s란 RNN을 이용하여 문장을 학습할 수 있는 모델 중 하나이다.크게 2개의 RNN, 인코더-RNN-셀과 디코더-RNN-셀로 이루어져있다.(총 2개의 LSTM셀)인코더 부분에서는 입력 응답을 받아 하나의 hidden code 값으로 표현을 해주어 이를 디코더에 보내주고,디코더에서는 앞의 hidden code 값과 문장의 시작을 의미하는 tag를 입력받아 가장 적합한 결과 단어를 추출해준다. 이 이후 과정에서는 train일때와 test일때가 조금 다른데,train과정에서는 디코더의 아웃풋과는 별개로 기존 우리가 알고있는 답이 들어가고, test과정에서는 전의 디코더 아웃풋이 다음 디코더의 인풋으로 들어가게 된다. 참고자료 - 참고한 사이트들https://r..

Recurrent Neural Network(RNN)먼저 recurrent라는 단어의 뜻은 '되풀이이되는, 반복되는'이다. 즉 다시말해 기존 뉴럴네트워크에서 다음스텝으로 넘어갈때의 출력결과에 이전 계산결과에 영향을 받는=되풀이 되도록 만든 neural network이다. 따라서 RNN은 연속적인 데이터(sequential Data)를 처리하는데 적합하다. 특히 NLP라 불리는 자연어처리 문제에 아주 뛰어난 성능을 보인다고 알려져있다. 실제 구글 번역기도 이 RNN을 이용한다.Rnn의 구조는 보통 하나의 네트워크를 여러개로 복사된 형태로 표시하는데데, 즉 자신의 결과가 자기자신에 다시 영향을 주는것을 펼쳐서 나타낸다. 이러한 RNN에서 weight를 업데이트하기 위해서는 기존의 Back Propagatio..

결국 우리의 목적은 우리의 모델결과와 실제 target 사이의 error를 최소화시키는데에 있다.즉 loss function을 최소화 하는 parameter(weight) W를 찾는것이 목표이다그런데 문제는 loss function이 그냥 미분해서 구할 수 없는 경우가 자주 생기며 이 대는 어떻게 이 W를 찾을지가 중요하다.이때 쓰는것이 바로 gradient descent이다.수학적으로 어떤 함수의 gradient는 그 함수의 경사가 가장 가파른 곳의 벡터를 나타내게 되는데이를 이용하여 W를 함수의 경사가 가장 가파른 방향으로 loss function이 작아지도록 계속 업데이트를 시키는 과정그게 바로 gradient descent라고 할 수 있다.문제는 이 과정중에 local minimum이나 saddl..

1. GAN(Generative Adversarial Nets) :generator와 discriminator 두 개가 서로 대립해 나가며 서로의 성능을 점차 개선해 나가는 과정을 이용하여 만든 neural network 2. CNN(Convolution Neural Network) : 기존 뉴럴네트워크에 convolution기법을 더해서 neural network에 입력할 데이터를 미리 전처리하는거. 그림으로 치자면 필터하여 중요한 특징들만 뽑아내는 전처리 과정.참고 사이트 : https://www.slideshare.net/leeseungeun/cnn-vgg-72164295(dropout/RELU) 3. 기타용어들 정리sparse : 희박한(너무별거아니였다ㅋㅋㅋㅋㅋ)perturbation : 작은변화..