GloVe: Global Vectors for Word Representation

GloVe: Global Vectors for Word Representation

글로브 : 단어 표현 용 전역적 벡터

 

요약

- 최근의 단어 벡터 공간을 학습하는 방법들로 이런 벡터 구조를 통해 성공적으로 미세한 의미와 문법적 일관성을 이룰수가 있었다. 하지만 원래의 일관성이 유지되는지는 불투명 하였다.

- 우리는 워드 벡터 상에서 이런 일관성을 위한 명시적인 모델 설정치들을 만들고 분석하음.

-  그 결과물은 새로운 전역적인 로그 양선형 회귀 모델로 전역적 행렬 요인화와 지역적 컨텍스트 윈도우 방법에 대한 모델의 이점들을 합쳐내었다.

- 우리가 만든 모델은 희소 행렬 전체나 큰 말뭉치에서 개별적인 컨텍스트 윈도우보다 단어에서 단어에 대한 동시 존재 행렬에서 영이 아닌 원소들만으로 학습함으로서 효율적으로 통게적 정보들을 늘려내었다.

- 이 모델은 중요한 의미를 갖는 하부구조를 가진 벡터 공간을 만들어 냄으로서 단어 아날로지 작업에서 75%의 성능을 내었으며, 비슷한 작업과 유명한 엔티티 인식 모델들을 능가하는 성능을 보였다.