문서 관점에서 일종의 Distribution Representation

✏️ Topic Modeling

Conceptual Approach

Topic Model

LSA

• Matrix Factorization Approach

  

• SVD(singular value decomposition) 사용하면 LSA(latent semantic analysis)라고 함!

  

• LSA의 단점

  • SVD는 Normally distributed data 가정함
  • Term occurence는 NOT normally distributed
    • 토픽 모델링에서 사용하는 데이터들은 Word2Vec, Doc2Vec을 사용하는 게 아니라 tf-idf, binary 기반의 BoW를 사용 (sparse vectors)
  • 그러나 여전히 tf-idf 같은 weighted matrix를 쓸 때는 작동을 잘 하긴 함

Probabilistic Topic Model: Generative Approach

• Generative Approach

  1️⃣ 문서는 토픽의 분포 2️⃣ 토픽은 단어의 분포

  1. 가정: 각각의 문서는 토픽들의 probability distribution

     

     • 토픽의 분포는 주어진 문서의 핵심을 표현!!

  2. 가정: 각 토픽은 단어들의 probability distribution

• Model-based methods

  • Statistical inference is based on fitting a probabilistic model of data : 데이터를 통해서 가정한 확률적 모델을 잘 적합
  • Such models assign a probability for observing specific data examples : 주어진 데이터들에 대해서 확률값 할당
    • 각각의 단어들이 이 텍스트에서는 우리가 가정한 모델에 의하면 발생할 확률이 얼마인가?에 대한 답을 추정, 그 확률값이 최대가 되도록 하는 모델을 만드는 것 = Generative Approach

• How it work?

  <aside> ⭐ 문서가 생성되는 어떤 Procedure를 정의해놓고 그 procedure로부터 현재 관측(수집)하고 있는 데이터가 생성되었을 것이다 믿음을 갖는 것, 그 믿음으로부터 이렇게 데이터가 생성되었으니까 이 데이터를 생성한 실제 가정(h)은 무엇일까?를 추론하는 것 = 학습

  

  </aside>

  • It defines a conditional probability distribution over data given a hypothesis P(D|h) : 가설 P(D|h)가 주어져있을 때 데이터에 대한 조건부 확률 분포 정의
  • Given h, we generate data from the conditional distribution P(D|h) : h라는 가설을 통해서 D라는 데이터셋이 만들어진다
  • 데이터 D가 주어져 있을 때 (e.g. 문서 집합) 생성된 데이터를 가장 가질만 한 모델 혹은 가설 h의 파라미터들을 추정하고 싶은 것
  • 목적: 현재 가지고 있는 데이터가 모델 가설 h로부터 생성될 확률을 가장 크게 하는 파라미터들을 찾는 것

• Process of generative model

  

✏️ pLSA: Probabilistic Latent Semantic Analysis

Latent Structure

• 데이터를 인코딩한 행렬의 문제 (e.g. TDM)

  • 너무 큼, 너무 복잡합, 구조가 없음 등..

• ❓

  • 해당 객체들을 좀 더 쉽고 단순하게 설명할 방법은 없을까?
  • 데이터에 숨겨져 있는 Latent structure가 있지 않을까?
  • 그 구조를 어떻게 찾을까?

• Matrix Decomposition

  

Language Model