회사에서 LLM 관련 연구를 제안하고 진행하려고 준비를 하고 있었습니다. 저는 원래 vision쪽만 연구하고 있었지만 이번 기회로 nlp 논문들을 읽어 보고 정리하려고 합니다. 진작 했어야했는데 미루고 미루다보니 Transformer, GPT 시리즈 등 논문들이 나온지 벌써 수년이 지났네요…
아무튼 새로 논문을 보는 입장에서 관련 내용들을 정리하며 시리즈로 묶어 게시하고자 합니다. 저처럼 자연어 처리나 언어 모델에 처음 입문하시는 분들부터 예전에 논문을 읽어봤지만 기억이 잘 안나시는 분들께 도움이 되길 기대합니다…ㅎㅎ
논문 리스트업
읽고 정리할 논문들의 리스트는 https://github.com/Hannibal046/Awesome-LLM 에서 정리된 Mileston Papers를 기준으로 잡았습니다. Transformer부터 GPT를 거쳐 올해 7월에 공개된 LLaMA2 까지 굵직한 논문들을 우선으로 읽어보려고 합니다.
그리고 추가적으로 필요하다고 생각하는 논문들과 개념들에 대해서도 하나씩 정리하려고 합니다. 최근에 논문들이 엄청나게 쏟아져 나오고 있기에 모든 논문들을 자세하게는 다루지 못하겠지만 꾸준히 정리해야겠습니다...!
지금까지 정리한 논문 리스트
Transformer - Attention Is All You Need [Post]
GPT1.0 - Improving Language Understanding by Generative Pre-Training [Post]
'딥러닝 > 시리즈 - NLP, LLM' 카테고리의 다른 글
| [NLP] Improving Language Understanding by Generative Pre-Training (1) | 2023.09.26 |
|---|---|
| [NLP] Attention Is All You Need (0) | 2023.09.12 |
