Spring Lab

이 글에서는 2022년 구글에서 발표한 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models에 대해 살펴볼 예정이다. 본 논문은 2022년 NeurIPS에 등재된 상태이며, 2023년 7월 현재 인용 수는 940회이다. 논문 링크: https://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the abilit..

이 글에서는 PromptBERT를 제안한 논문인 Improving BERT Sentence Embeddings with Prompts에 대해 간략히 살펴볼 것이다. 본 논문은 2022년 EMNLP에 발표되었으며 논문 링크는 다음과 같다. 논문 링크: https://arxiv.org/abs/2201.04337 PromptBERT: Improving BERT Sentence Embeddings with Prompts We propose PromptBERT, a novel contrastive learning method for learning better sentence representation. We firstly analyze the drawback of current sentence embedding..

이 글에서는 2022년 ICLR에서 발표된 논문인 LoRA: Low-Rank Adaptaion of Large Language Models에 대해 간략히 살펴볼 예정이다. 본 논문은 Microsoft로부터 발표되었으며, 논문 링크와 Github 링크는 다음과 같다. 논문 링크: https://openreview.net/forum?id=nZeVKeeFYf9 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks..

이 글에서는 2023년 5월 18일 발표된 논문인 LIMA: Less Is More for Alignment에 대해 간략히 살펴볼 예정이다. 본 논문은 LLaMa 논문을 발표한 Meta AI로부터 발표되었으며 현재는 arxiv에만 올라온 상태이다. 논문 링크: https://arxiv.org/abs/2305.11206 LIMA: Less Is More for Alignment Large language models are trained in two stages: (1) unsupervised pretraining from raw text, to learn general-purpose representations, and (2) large scale instruction tuning and reinforc..

이 글에서는 InstructGPT를 제안한 논문인 Training language models to follow instructions with human feedback에 대해 살펴볼 것이다. 본 논문은 GPT-1, GPT-2, GPT-3 논문을 발표한 OpenAI로부터 2022년 NeurIPS에 발표되었다. 논문 링크: https://arxiv.org/abs/2203.02155 Training language models to follow instructions with human feedback Making language models bigger does not inherently make them better at following a user's intent. For example, large..