Spring Lab

(1) Medical Visual Question Answer: A Survey 논문은 2023년 Artificial Intelligence in Medicine 학회에 accept된 논문이다. (2) 본 논문에서는 컴퓨터 비전 태스크 중 하나인 Visual Question Answering을 의료 분야에 적용한 Medical Visual Question Answering(Medical VQA)에 대해서 살펴보는데 데이터셋, 평가방법 및 방법론을 위주로 연구한 Survey 논문이다. 논문 링크: https://arxiv.org/abs/2111.10056 Medical Visual Question Answering: A Survey Medical Visual Question Answering~(VQA) i..

이 글에서는 2021년 1월 5일 발표된 논문인 Learning Transferable Visual Models From Natural Language Supervision에 대해 살펴볼 예정이다. 본 논문은 ChatGPT를 비롯한 GPT 모델 시리즈를 발표한 OpenAI로부터 발표되었으며 2021년 ICML에 Accept 되었으며, 현재(2023.8) 기준 인용수는 7004회이다. 논문 링크: https://arxiv.org/abs/2103.00020 Learning Transferable Visual Models From Natural Language Supervision State-of-the-art computer vision systems are trained to predict a fixed ..

이 글에서는 2022년 구글에서 발표한 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models에 대해 살펴볼 예정이다. 본 논문은 2022년 NeurIPS에 등재된 상태이며, 2023년 7월 현재 인용 수는 940회이다. 논문 링크: https://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the abilit..

이 글에서는 PromptBERT를 제안한 논문인 Improving BERT Sentence Embeddings with Prompts에 대해 간략히 살펴볼 것이다. 본 논문은 2022년 EMNLP에 발표되었으며 논문 링크는 다음과 같다. 논문 링크: https://arxiv.org/abs/2201.04337 PromptBERT: Improving BERT Sentence Embeddings with Prompts We propose PromptBERT, a novel contrastive learning method for learning better sentence representation. We firstly analyze the drawback of current sentence embedding..

최근 QR 코드에 일러스트를 넣어주는 AI가 핫하다. (1) QR코드 이미지와, (2) 원하는 명령어(prompt)만 입력하면 자동으로 일러스트가 들어간 QR코드를 만들어주는 사이트가 있어서 소개하고자 한다. 사이트 접속 https://quickqr.art/ QuickQR Art Text quickqr.art 위 사이트에 접속하면 다음과 같은 화면이 뜰 것이다. 여기서 Join Beta Now를 클릭한다. 디스코드 로그인 클릭하면 현재 QR 일러스트 생성 AI가 디스코드 기반으로 운영되기 때문에 아래와 같은 화면이 뜰 것이다. Discord로 계속하기를 눌러준다. 그 후 각자의 방식으로 디스코드 로그인을 하면, 다음과 같은 아이콘을 가진 서버에 참여가 되었을 것이다. 여러 채널들 중 우리가 사용할 채널은..

이 글에서는 2022년 ICLR에서 발표된 논문인 LoRA: Low-Rank Adaptaion of Large Language Models에 대해 간략히 살펴볼 예정이다. 본 논문은 Microsoft로부터 발표되었으며, 논문 링크와 Github 링크는 다음과 같다. 논문 링크: https://openreview.net/forum?id=nZeVKeeFYf9 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks..

이 글에서는 2023년 5월 18일 발표된 논문인 LIMA: Less Is More for Alignment에 대해 간략히 살펴볼 예정이다. 본 논문은 LLaMa 논문을 발표한 Meta AI로부터 발표되었으며 현재는 arxiv에만 올라온 상태이다. 논문 링크: https://arxiv.org/abs/2305.11206 LIMA: Less Is More for Alignment Large language models are trained in two stages: (1) unsupervised pretraining from raw text, to learn general-purpose representations, and (2) large scale instruction tuning and reinforc..

이 글에서는 InstructGPT를 제안한 논문인 Training language models to follow instructions with human feedback에 대해 살펴볼 것이다. 본 논문은 GPT-1, GPT-2, GPT-3 논문을 발표한 OpenAI로부터 2022년 NeurIPS에 발표되었다. 논문 링크: https://arxiv.org/abs/2203.02155 Training language models to follow instructions with human feedback Making language models bigger does not inherently make them better at following a user's intent. For example, large..

nvidia-smi 보통 nvidia-smi 를 사용하면 다음과 같은 화면이 나온다. 현재 GPU가 0 / 1 / 2 / 3 총 4개가 있는 것을 알 수 있고, 실행 중인 프로세스는 0번 GPU에 2개, 3번 GPU에 1개가 있는 것을 알 수 있다. 현재 이 서버는 도커를 기반으로 사용자가 각자 컨테이너에서 작업하고, GPU를 사용하도록 구성되어 있다. 그렇다면 0번 GPU에서 3824MB 메모리를 사용하고 있는 사용자를, 컨테이너를 찾아내 알아보자. pstree 우선 이 프로세스의 PID는 '349842'이다. 이를 이용하여 찾아볼 것인데, 기본적으로 'pstree' 명령어를 이용할 것이다. pstree -aps 349842 | grep id 다음과 같은 명령어를 사용하게 되면 다음과 같은 줄이 나오는..

1. 강화학습과 지도학습 강화학습은 머신러닝의 한 종류이지만 지도학습, 비지도학습과 학습 방식이 조금 다르다. 책에서 분류한 바와 같이 지도학습, 비지도학습, 강화학습에는 겹치는 부분이 있긴 하지만 엄연히 차이점이 존재한다. 이 글에서는 그 중에서도 지도학습과 강화학습의 차이점을 나만의 방식으로 풀어보려 한다. 2. 각각의 관점으로 본 강화학습 위 이미지는 InstructGPT에 사용된 Reinforcement Learning with Human Feedback(이하 RLHF)를 설명하기 위해 만든 PPT 페이지이다. 이미지의 상황은 Model이 Prompt를 Input으로 받고 Answer(Completion)을 Output으로 내는데, Output이 가지는 Reward를 최대화하는 쪽으로 학습하는 강..