✏️ Classic Methods

✏️ Distributed Representation

Word Embedding

• 특정 단어를 vector space로 mapping → 의미상 유사한 단어는 가까이 위치하도록

  

One-hot vector

Distributed representation

<aside> ➡️ Word-level

</aside>

NNLM

Neural Network Language Model

• NN을 이용한 Word Embedding 원조격 모델 (2003)

• distributed representations를 통해서 one-hot vector의 curse of dim 문제를 해결하고자 함

  

  • 두 가지를 동시에 학습 Learn simultaneously
    1. 고정된 공간 상의 어떤 연속형의 숫자 벡터가 좋은가?
    2. 벡터를 통해서 일련의 단어 시퀀스들의 등장 확률이 높도록

• 작동 원리

  • dog and cat(의미론적, 구조적으로 유사) + 다른 유사한 단어들 → 문장들을 일반화/생성할 수 있음

Comparison with Count-based Language Models

Learning NNLM

Word2Vec (2013)

• 차이

  • NNLM: 다음 단어 예측

  • Word2Vec: 주변 단어 → 중심 단어 예측 (CBOW) / 중심 단어 → 주변 단어 예측 (Skip-gram)

    

    • CBOW: 하나의 gradient로 주변 단어들의 gradient
    • Skip-gram: 주변 단어들의 gradient로 하나의 gradient → 비교적 성능 좋음 (위주로 수업)

Skip-gram

CBOW