논문 리뷰
AI/ML 논문 3편
- Vision·ICLR 2021·2020-10-22
An Image is Worth 16x16 Words (ViT)
이미지를 패치로 쪼개서 Transformer에 그대로 넣었더니 CNN을 이김.
#transformer#vision#vit - NLP·NAACL 2019·2018-10-11
BERT: Pre-training of Deep Bidirectional Transformers
양방향 컨텍스트로 사전학습한 Transformer 인코더. NLP의 ImageNet moment.
#transformer#pretraining#bert - NLP·NeurIPS 2017·2017-06-12
Attention Is All You Need
RNN 없이 어텐션만으로 시퀀스 변환 문제를 푼 논문. NLP 패러다임을 바꿈.
#transformer#attention#seq2seq