딥러닝/시리즈 - NLP, LLM3 [NLP] Improving Language Understanding by Generative Pre-Training 이번에 소개할 논문은 2018년도 OpenAI에서 발표한 “Improving Language Understanding by Generative Pre-Training”라는 제목의 논문이다. 이 글을 소개하는 현시점 ChatGPT로 이미 많은 사람들에게 친숙해진 모델의 초기 버전인 GPT 1.0 논문이고 이후에 나온 2.0, 3.0 등등 순차적으로 다룰 예정이니 천천히 이해해보자. 논문 링크 : https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf Generative Pre-training language model로 언어 모델의 자연어 이해 능력을 높여보자! Abstract 자연어 이해(Natural language underst.. 2023. 9. 26. [NLP] Attention Is All You Need 첫 논문 리뷰로 딥러닝을 연구하는 분들이라면 한번쯤은 들어봤을 Attention is all you need 를 소개한다. Google에서 발표한 논문으로 Transformer를 소개하였다. NLP 뿐만 아니라 Vision분야까지 지대한 영향을 끼친 논문으로 언젠가 한번 정리해야지 했는데 이번 기회로 논문을 정리하게 되었다. 논문 링크 : http://arxiv.org/pdf/1706.03762.pdf Abstract 기존 sequence transduction model*들은 encoder-decoder 구조를 가지는 복잡한 recurrent(RNN), convolution(CNN) 모델을 사용했다. 가장 좋은 성능을 내던 모델은 encoder-decoder를 attention mechanism으로 연.. 2023. 9. 12. NLP, LLM에 대해 알아보자! 회사에서 LLM 관련 연구를 제안하고 진행하려고 준비를 하고 있었습니다. 저는 원래 vision쪽만 연구하고 있었지만 이번 기회로 nlp 논문들을 읽어 보고 정리하려고 합니다. 진작 했어야했는데 미루고 미루다보니 Transformer, GPT 시리즈 등 논문들이 나온지 벌써 수년이 지났네요… 아무튼 새로 논문을 보는 입장에서 관련 내용들을 정리하며 시리즈로 묶어 게시하고자 합니다. 저처럼 자연어 처리나 언어 모델에 처음 입문하시는 분들부터 예전에 논문을 읽어봤지만 기억이 잘 안나시는 분들께 도움이 되길 기대합니다…ㅎㅎ 논문 리스트업 읽고 정리할 논문들의 리스트는 https://github.com/Hannibal046/Awesome-LLM 에서 정리된 Mileston Papers를 기준으로 잡았습니다. T.. 2023. 9. 10. 이전 1 다음
