Introduction to Text Generation

• 챗봇은 대규모 언어 모델(LLM)을 주류로 가져왔다. LLM은 몇 년 동안 존재해 왔지만, 주로 AI 커뮤니티에 국한되어 활용되어 왔다. AI 기반 소비자 챗봇의 출시를 통해 일상적인 사용자가 LLM에 접근할 수 있게 되면서 LLM은 기술과 기업 서클 모두에서 뜨거운 주제가 되었다.

How an LLM Chatbot Works

• LLM 챗봇이 어떻게 작동하는지 이해하려면, 그들의 빌딩 블록을 이해하는 것이 중요하다. 이 섹션에서는 기본 모델을 사용하고 대화 스타일로 답변을 생성하기 위해 추가된 context layer를 사용하여 챗봇의 생성 부분을 구축하는 방법에 중점을 둡니다.

The Foundation of an LLM Chatbot

• LLM 챗봇의 기반은 instruction을 따르도록 fine-tuning된 LLM이다. 이것은 사용자의 프롬프트나 메시지가 주어진 응답을 생성할 수 있다. 이러한 유형의 모델들은 instruction이나 question을 따르도록 조정된다.

  • ex. “Write a headline for my homemade jewelry product” or “What is the capital of Canada?”.

  

  A message or prompt returning a model response

• 하지만, LLM의 맥락은 오직 모델이 받는 가장 최근의 메세지에 제한되고 이전의 메세지나 응답은 고려하지 않는다. 그러나!! 챗봇은 여러 상호 작용을 통해 일어나는 사용자와의 대화를 유지할 수 있는 능력이 특징이다.

  

  A baseline LLM’s context is limited to only the last message it receives

  • 챗봇의 목표는 일련의 상호 작용을 단일 인스턴스로 연결하여 챗봇이 지속적인 대화를 할 수 있도록 함으로써 이 문제를 해결하는 것이다. 그렇게 함으로써, 모델의 반응은 매번 처음부터 시작해야 하는 대신 이전의 모든 상호 작용에 대한 기억을 유지할 수 있다.

How to Build a Chatbot's Memory

• 베이스라인 생성 모델을 작업하면서, 우리는 여러 상호작용을 단일 프롬프트에 쌓고 전체 대화의 기억을 생성할 수 있다.

  

  Building a conversation by stitching multiple prompt-response pairs together

  1. 먼저, 서문preamable이라고 불리는 시스템 수준의 프롬프트를 추가한다. 서문에는 페르소나, 스타일 또는 형식과 같은 특정 특성에 대한 챗봇의 반응을 조종하는 데 도움이 되는 instruction이 포함되어 있다.
     • 예를 들어, 챗봇이 공식적인 스타일로 답변하기를 원한다면, 서문은 더 사업적이고 전문적인 반응을 장려하는 데 사용될 수 있다. 이때 서문은 "당신은 공식적이고 전문적인 어조로 응답을 제공함으로써 인간 사용자를 돕기 위해 훈련된 도움이 되는 챗봇입니다."와 같을 수 있다.
  2. 그런 다음, 우리는 현재 사용자 메시지를 서문에 추가한다. 그리고 이 서문은 챗봇의 응답에 대한 프롬프트가 된다.
  3. 다음으로, 우리는 챗봇 응답과 다음 사용자 메시지를 프롬프트에 추가한다.
  4. 모델의 최대 **context length**에 도달할 때까지 상호 작용들에 대해 이 단계를 반복할 수 있습니다. context length는 프롬프트와 응답에 의해 차지하는 총 토큰 수이며, 각 모델은 지원할 수 있는 최대 context length를 가지고 있다.

• 이 multi-turn 프레임워크는 챗봇에게 처음부터 끝까지 대화의 전체 맥락을 유지할 수 있는 능력을 제공한다.

  

  Multi-turn conversations can happen when the full context is available

  • 그러나, 베이스라인 LLM 위에 쌓는 것만으로는 충분하지 않다.
  • 챗봇은 다양한 시나리오에서 잘 수행되어야 한다. 고품질의 신뢰할 수 있는 출력을 지속적으로 생성하는 강력한 챗봇을 만들려면, 기준 LLM은 특히 대화에 맞게 조정되어야 한다. 즉, 베이스라인 모델을 취하고 많은 양의 대화식 데이터로 더 미세 조정하는 것을 의미한다.

➕

• LLM 챗봇 성능 개선은 어떻게 베이스라인 LLM이 훈련되는지에서 시작된다. 훈련 외에도, 대화를 위한 베이스라인 LLM을 미세 조정하려면 프롬프트 서식 시스템prompt formatting system 위에 표준화된 인터페이스를 추가해야 한다.

Building a Chatbot

1. Quickstart

   

2. Defining a Preamable

   

3. Streaming the Chatbot Response

4. Building the Chat History

Parameters for Controlling Outputs