출처 : DSBA 유투브, 이유경님 발표 Seq2SeqNeural Machine TranslationEncoder - Decoder 구조의 모델 (RNN 기반의)Attention + Seq2SeqNeural Machine TranslationDecoder가 Source Sentence 의 중요한 정보에 집중하게 하자.TransformerNeural Machine TranslationSelf Attention, Multi-Head AttentionGPT - 1Task AgnosticTransformer Decoder Block언어 자체를 이해할 수 있는 좋은 Representation을 학습해보자!Pre training을 맞춘 뒤, Fine Tuning을 통해 Task를 다뤄보자 라고 제안.BERTTask..
