MATH & ML

2014년 처음등장!! 불어-영어 번역을 위해!s2s란 RNN을 이용하여 문장을 학습할 수 있는 모델 중 하나이다.크게 2개의 RNN, 인코더-RNN-셀과 디코더-RNN-셀로 이루어져있다.(총 2개의 LSTM셀)인코더 부분에서는 입력 응답을 받아 하나의 hidden code 값으로 표현을 해주어 이를 디코더에 보내주고,디코더에서는 앞의 hidden code 값과 문장의 시작을 의미하는 tag를 입력받아 가장 적합한 결과 단어를 추출해준다. 이 이후 과정에서는 train일때와 test일때가 조금 다른데,train과정에서는 디코더의 아웃풋과는 별개로 기존 우리가 알고있는 답이 들어가고, test과정에서는 전의 디코더 아웃풋이 다음 디코더의 인풋으로 들어가게 된다. 참고자료 - 참고한 사이트들https://r..

Recurrent Neural Network(RNN)먼저 recurrent라는 단어의 뜻은 '되풀이이되는, 반복되는'이다. 즉 다시말해 기존 뉴럴네트워크에서 다음스텝으로 넘어갈때의 출력결과에 이전 계산결과에 영향을 받는=되풀이 되도록 만든 neural network이다. 따라서 RNN은 연속적인 데이터(sequential Data)를 처리하는데 적합하다. 특히 NLP라 불리는 자연어처리 문제에 아주 뛰어난 성능을 보인다고 알려져있다. 실제 구글 번역기도 이 RNN을 이용한다.Rnn의 구조는 보통 하나의 네트워크를 여러개로 복사된 형태로 표시하는데데, 즉 자신의 결과가 자기자신에 다시 영향을 주는것을 펼쳐서 나타낸다. 이러한 RNN에서 weight를 업데이트하기 위해서는 기존의 Back Propagatio..