분류 전체보기5 [NLP] Improving Language Understanding by Generative Pre-Training 이번에 소개할 논문은 2018년도 OpenAI에서 발표한 “Improving Language Understanding by Generative Pre-Training”라는 제목의 논문이다. 이 글을 소개하는 현시점 ChatGPT로 이미 많은 사람들에게 친숙해진 모델의 초기 버전인 GPT 1.0 논문이고 이후에 나온 2.0, 3.0 등등 순차적으로 다룰 예정이니 천천히 이해해보자. 논문 링크 : https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf Generative Pre-training language model로 언어 모델의 자연어 이해 능력을 높여보자! Abstract 자연어 이해(Natural language underst.. 2023. 9. 26. [Python] 리스트 원소 shuffle Python 리스트 shuffle 하기 Python에서 random 모듈을 이용해 리스트의 원소를 쉽게 shuffle할 수 있다. random 모듈에서는 편리한 method들이 몇개 있는데 그중 하나인 random.shuffle(sequence) 을 이용면 된다. 아래는 예시 코드이다. import random my_list = ['bar', 'baz', 'foo', 'qux', 'fred', 'thud'] print(my_list) random.shuffle(my_list) print(my_list) 위 코드를 실행하여 원래 리스트와 shuffle 된 리스트 두개의 출력값을 뽑아보자. 터미널에서 3번 실행했을때 결과이다. 아래와 같이 노란 화살표로 표시된 부분을 보면 랜덤하게 원소들이 섞여있는 것을 확.. 2023. 9. 20. [VSCODE] GitHub Copilot 단축키 변경하기 ChatGPT만 구독해서 유료로 사용하다가 지인의 추천으로 Copilot를 새로 구독하게 되었다. 첫 달은 무료(예전엔 2달 무료 였는데..)라는 점에 일단 구독하긴 했는데 사용하면서 딱 한가지 마음에 들지 않는 부분이 있었다. 그건 바로 기존에 내가 자주 사용하던 단축키(Ctrl + Enter)와 Copilot의 단축키가 겹친다는 점이다. 따라서 Copilot의 단축키를 변경해야할 필요가 생겼다. **추가 : MacOS에서는 Copilot 단축키가 command + Enter 가 아닌 control + Enter로 단축키가 겹치지 않는다! Keyboard Shortcuts 진입하기 우선 vscode에서 단축키 설정하려면 Keyboard Shortcuts 메뉴에 들어가야 한다. Keyboard Short.. 2023. 9. 15. [NLP] Attention Is All You Need 첫 논문 리뷰로 딥러닝을 연구하는 분들이라면 한번쯤은 들어봤을 Attention is all you need 를 소개한다. Google에서 발표한 논문으로 Transformer를 소개하였다. NLP 뿐만 아니라 Vision분야까지 지대한 영향을 끼친 논문으로 언젠가 한번 정리해야지 했는데 이번 기회로 논문을 정리하게 되었다. 논문 링크 : http://arxiv.org/pdf/1706.03762.pdf Abstract 기존 sequence transduction model*들은 encoder-decoder 구조를 가지는 복잡한 recurrent(RNN), convolution(CNN) 모델을 사용했다. 가장 좋은 성능을 내던 모델은 encoder-decoder를 attention mechanism으로 연.. 2023. 9. 12. 이전 1 2 다음
