sequence to sequence(seq2seq)

2014년 처음등장!! 불어-영어 번역을 위해!

s2s란 RNN을 이용하여 문장을 학습할 수 있는 모델 중 하나이다.

크게 2개의 RNN, 인코더-RNN-셀과 디코더-RNN-셀로 이루어져있다.(총 2개의 LSTM셀)

인코더 부분에서는 입력 응답을 받아 하나의 hidden code 값으로 표현을 해주어 이를 디코더에 보내주고,

디코더에서는 앞의 hidden code 값과  문장의 시작을 의미하는 tag를 입력받아 가장 적합한 결과 단어를 추출해준다. 이 이후 과정에서는 train일때와 test일때가 조금 다른데,

train과정에서는 디코더의 아웃풋과는 별개로 기존 우리가 알고있는 답이 들어가고, test과정에서는 전의 디코더 아웃풋이 다음 디코더의 인풋으로 들어가게 된다.

참고자료 - 참고한 사이트들

https://ratsgo.github.io/natural%20language%20processing/2017/03/12/s2s/

(실제 s2s를 이용하여 뉴스본문을 넣어 제목을 예측하는 코드를 시도해본 과정 글)