Chat GPT 원리

Chat GPT는 대량의 텍스트 데이터를 학습하여, 사용자의 입력에 반응해 그에 맞는 텍스트를 생성한다.

 

사진: Unsplash 의 Ant Rozetsky

 

 

Chat GPT의 기본은 언어모델이다. 여태까지 주어진 단어들을 기반으로 다음 단어를 예측하는 모델이다. 방대한 양의 데이터를 학습하고, 정말 큰 트랜스포머 모델을 사용한다. 한 단어 한 단어를 예측하면서 대화를 생성해 나간다.예를 들어 "오늘 점심 메뉴는"으로 시작하는 문장 수십 수백만 개를 구해 GPT에게 주면, "돈까스" "맛있는" 등과 같이 주어와 높은 확률로 맥락이 매칭되는 다음 단어들을 찾아내는 방식이다. 

 

1단계. 데이터 수집

대량의 텍스트 데이터를 수집하는 것이 첫 단계이다. 이 데이터는 인터넷의 웹 페이지, 책, 기사 등 다양한 곳에서 가져온다. 이 데이터는 구조화되지 않은 형태로 수집되며, 개별 사용자 데이터를 특정하는 것은 불가능하다.

 

2단계. 데이터 전처리

수집한 텍스트 데이터는 다양한 형태와 구조를 가지고 있기 때문에 이를 일정한 형식으로 변환해야 한다. 대부분의 텍스트 데이터는 숫자로 변환되어야 컴퓨터가 이해할 수 있다. 이는 일반적으로 '토큰화'라는 과정을 통해 이루어진다. 토큰화란, 문장을 개별 단어, 문구, 기호 등으로 나누는 것을 의미한다.

 

3단계. LLM(Large Language Model) 학습

전처리된 데이터는 LLM, 즉 Large Language Model 학습 과정에 사용된다. LLM은 인공신경망의 한 형태인 Transformer 구조를 활용해 문맥에 따른 단어의 의미를 이해하며, 그다음에 올 수 있는 가장 적합한 단어를 예측하는 방식으로 학습한다. 모델이 훈련되는 과정에서, 수많은 텍스트 데이터가 입력되며 모델은 이 데이터를 통해 패턴을 학습한다. 이 패턴은 언어의 구조, 문법, 단어 간의 관계 등을 포함한다. 이는 '기계학습'이라는 방법을 통해 이루어진다. Chat GPT는 'Transformer'라는 인공신경망 구조를 사용하여 문장의 맥락을 이해한다.

 

4단계. RLHF(Reinforcement Learning from Human Feedback) 적용

RLHF는 모델의 성능을 개선하는 방법 중 하나로, 사용자의 피드백을 통해 모델을 지속적으로 개선한다. RLHF는 초기에는 사람이 직접 제공하는 예제를 사용하여 학습하지만, 점차적으로 모델 자체의 예측을 사용하여 학습을 이어나간다. 이를 통해 모델은 사용자의 피드백을 학습하여 더 정확하고 유용한 답변을 제공하게 된다.

 

5단계. 텍스트 생성

학습이 완료되면 문장을 생성할 수 있게 된다. 입력(예: 사용자의 질문)이 주어지면, 모델은 이전에 학습한 패턴에 기반하여 가장 가능성이 높은 답변을 생성한다. 이는 입력을 숫자로 변환한 뒤, 신경망을 통해 처리되며, 출력으로 텍스트를 생성하는 과정이다. 이때, 다음 단어를 예측하는 것을 반복하여 문장을 만들어간다. 예측은 학습된 모델을 통해 수행되며, 각 단어를 선택할 확률에 따라 가장 적절한 단어를 선택하여 문장을 생성해 나간다.

 

단, 문장 출력 후에 피드백을 개선하는 과정은 포함되어있지 않다. OpenAI의 GPT-4 같은 대규모 언어 모델은 기본적으로 자기 스스로 학습하거나 개선하는 능력을 가지고 있지 않다. 이는 즉 모델이 출력한 문장에 대한 피드백을 직접 받아들이거나, 그 피드백을 바탕으로 스스로를 개선하는 메커니즘이 내장되어 있지 않다는 것을 의미한다.

GPT-4와 같은 모델의 성능을 개선하려면 모델의 출력에 대한 피드백을 수집하고, 이를 바탕으로 모델을 재학습하는 과정이 필요하다. 이 과정은 일반적으로 데이터 과학자나 머신러닝 엔지니어들에 의해 수행된다. 이들은 수집된 피드백을 바탕으로 모델의 학습 데이터를 업데이트하고 모델을 재학습하여 그 성능을 개선하게 된다.

 

Chat GPT가 문장을 생성하는 과정은 복잡한 데이터 처리와 머신러닝 기술에 기반하고 있다. 이런 과정을 통해 Chat GPT는 사용자의 질문을 이해하고, 그에 맞는 적절한 답변을 생성하게 된다.

 

---

Reference

위의 글은 Chat GPT가 생성한 답변과 아래의 아티클들을 참고하여 작성하였습니다.

ChatGPT에 화들짝 놀라신 분 들어오세요 - 원리 편

챗GPT란 무엇인가 : 가장 쉽게 설명해드립니다[서영빈의 데이터 경제]