Bag-of-Words로 표현되어 있는 상황

✏️ Dimensionality Reduction

• Common features of text data
• 차원 축소가 필요한 이유
• 차원 축소 분류

✏️ Feature Selection

Feature Selection Metric

✏️ Feature Extraction: LSA & t-SNE

Latent Semantic Analysis (1990)

잠재 의미 분석

Singular Value Decomposition: SVD

Latent Semantic Indexing

• LSA

  : 고차원의 TDM을 저차원 공간으로 변환시키면서 statistical structure 보존

  • SVD을 통해서 matrix factorization 수행
  • 변수의 개수 축소 / 문서의 개수 축소 가능

  

  • Latent: Captures Associations which are not explicit
  • Semantic: Represent meaning as a function of similarity to other entities (거리 관계 보존하겠다)

• Reduce the dimensions using SVD

  

  • 예시: SVD in text mining

t-SNE

Stochastic Neighbor Embedding (SNE)

Symmetric SNE

t-SNE

✏️