728x90
0. 초록
- 본 논문에서는 (문법과 의미론적인) 단어 사용에 있어서 복잡한 특성과 다양한 언어적 컨텍스트를 어떻게 사용하는지를 고려한 새로운 타입의 심층 컨텍스트화된 단어 표현 deep contextualized word representation을 소개하고자 합니다.
- 우리의 단어 벡터는 많은 량의 텍스트 말뭉치로 학습된 심층 양방향 언어모델 deep bidirectional language model(biLM)의 내부 상태 함수로 학습됨.
- 이 표현은 기존의 현존하는 모델에 간단하게 추가시킬수가 있으며, 대표적인 NLP문제들 질의응답, 감정분석, 텍스처 분석 등에서 큰 성능 향상을 보였습니다.
- 우리는 또한 선학습된 신경망의 내부정보를 노출 시키는것이 중요하다는 사실과, 다운스트림 모델에 다른 타입의 준지도 신호들을 섞어본 결과를 분석하여 보여주고자 합니다.
300x250
'그외 > 논문' 카테고리의 다른 글
| SSD: Single Shot MultiBox Detector (0) | 2021.04.27 |
|---|---|
| Enriching Word Vectors with Subword Information (0) | 2021.04.26 |
| UNet: Convolutional Networks for Biomedical Image Segmentation (0) | 2021.04.26 |
| Fast R-CNN 재정리 (0) | 2021.04.26 |
| Fully Convolutional Networks for Semantic Segmentation (0) | 2021.04.22 |