[SK TECH SUMMIT 2023] LLM 적용 방법인 RAG VS PEFT, Domain 적용 승자는?

1️⃣ LLM 배경

LLM과 Foundation Model

• Foundation Model

  : 다양한 태스크 도메인에서 방대한 양의 데이터로 Self-supervised learning을 통해 학습된 모델

  • 특정 태스크를 지정하지 않더라도 범용적으로 일반화된 성능을 가질 수 있음

• LLM

  • 언어 분야의 FM
  • 요약, 분류, 번역, QA 등 다양한 태스크를 수행할 수 있는 거대 언어 모델

LLM 발전 계보

• GPT-3 등장 이후 모델 크기는 점점 커지고, 범용 태스크의 성능이 향상됨
• 특히 2023년 ChatGPT, Bard 등 LLM 기반의 서비스들이 출시됨

LLM 기반 서비스

• ChatGPT, BARD 등 다양한 LLM 기반 서비스들이 사용됨
• 기업에서도 LLM을 활용한 서비스를 출시/적용하기 위해 많은 시도 중
  • 자체 데이터, 도메인을 적용해서 LLM 서비스화 위한 많은 노력 중

서비스 중인 LLM의 한계

• 거대 기업들이 개발한 대부분의 모델은 공개되지 않아 서비스 적용(사내 적용 시)에 제약이 발생
• Meta가 LLaMA를 공개하며 오픈소스 LLM들도 다양하게 개발되고 있음
  • 다양한 파생 모델들이 개발됨

2️⃣ 사내 적용 시 Challenge point