전체 글5 [NLP] Improving Language Understanding by Generative Pre-Training 이번에 소개할 논문은 2018년도 OpenAI에서 발표한 “Improving Language Understanding by Generative Pre-Training”라는 제목의 논문이다. 이 글을 소개하는 현시점 ChatGPT로 이미 많은 사람들에게 친숙해진 모델의 초기 버전인 GPT 1.0 논문이고 이후에 나온 2.0, 3.0 등등 순차적으로 다룰 예정이니 천천히 이해해보자. 논문 링크 : https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf Generative Pre-training language model로 언어 모델의 자연어 이해 능력을 높여보자! Abstract 자연어 이해(Natural language underst.. 2023. 9. 26. [Python] 리스트 원소 shuffle Python 리스트 shuffle 하기 Python에서 random 모듈을 이용해 리스트의 원소를 쉽게 shuffle할 수 있다. random 모듈에서는 편리한 method들이 몇개 있는데 그중 하나인 random.shuffle(sequence) 을 이용면 된다. 아래는 예시 코드이다. import random my_list = ['bar', 'baz', 'foo', 'qux', 'fred', 'thud'] print(my_list) random.shuffle(my_list) print(my_list) 위 코드를 실행하여 원래 리스트와 shuffle 된 리스트 두개의 출력값을 뽑아보자. 터미널에서 3번 실행했을때 결과이다. 아래와 같이 노란 화살표로 표시된 부분을 보면 랜덤하게 원소들이 섞여있는 것을 확.. 2023. 9. 20. [VSCODE] GitHub Copilot 단축키 변경하기 ChatGPT만 구독해서 유료로 사용하다가 지인의 추천으로 Copilot를 새로 구독하게 되었다. 첫 달은 무료(예전엔 2달 무료 였는데..)라는 점에 일단 구독하긴 했는데 사용하면서 딱 한가지 마음에 들지 않는 부분이 있었다. 그건 바로 기존에 내가 자주 사용하던 단축키(Ctrl + Enter)와 Copilot의 단축키가 겹친다는 점이다. 따라서 Copilot의 단축키를 변경해야할 필요가 생겼다. **추가 : MacOS에서는 Copilot 단축키가 command + Enter 가 아닌 control + Enter로 단축키가 겹치지 않는다! Keyboard Shortcuts 진입하기 우선 vscode에서 단축키 설정하려면 Keyboard Shortcuts 메뉴에 들어가야 한다. Keyboard Short.. 2023. 9. 15. [NLP] Attention Is All You Need 첫 논문 리뷰로 딥러닝을 연구하는 분들이라면 한번쯤은 들어봤을 Attention is all you need 를 소개한다. Google에서 발표한 논문으로 Transformer를 소개하였다. NLP 뿐만 아니라 Vision분야까지 지대한 영향을 끼친 논문으로 언젠가 한번 정리해야지 했는데 이번 기회로 논문을 정리하게 되었다. 논문 링크 : http://arxiv.org/pdf/1706.03762.pdf Abstract 기존 sequence transduction model*들은 encoder-decoder 구조를 가지는 복잡한 recurrent(RNN), convolution(CNN) 모델을 사용했다. 가장 좋은 성능을 내던 모델은 encoder-decoder를 attention mechanism으로 연.. 2023. 9. 12. NLP, LLM에 대해 알아보자! 회사에서 LLM 관련 연구를 제안하고 진행하려고 준비를 하고 있었습니다. 저는 원래 vision쪽만 연구하고 있었지만 이번 기회로 nlp 논문들을 읽어 보고 정리하려고 합니다. 진작 했어야했는데 미루고 미루다보니 Transformer, GPT 시리즈 등 논문들이 나온지 벌써 수년이 지났네요… 아무튼 새로 논문을 보는 입장에서 관련 내용들을 정리하며 시리즈로 묶어 게시하고자 합니다. 저처럼 자연어 처리나 언어 모델에 처음 입문하시는 분들부터 예전에 논문을 읽어봤지만 기억이 잘 안나시는 분들께 도움이 되길 기대합니다…ㅎㅎ 논문 리스트업 읽고 정리할 논문들의 리스트는 https://github.com/Hannibal046/Awesome-LLM 에서 정리된 Mileston Papers를 기준으로 잡았습니다. T.. 2023. 9. 10. 이전 1 다음
