BERT를 이용한 한국어 의존 구문 분석

Md Arman Hossen; Sang-Jo Yoo; 박천음; 이창기; 임준호; 김현기; Cheoneum Park; Changki Lee; Jun-Ho Lim; Hyunki Kim

EIRIC MENU

전자정보연구정보센터

로그인

닫기

한글제목(Korean Title)	BERT를 이용한 한국어 의존 구문 분석
영문제목(English Title)	Korean Dependency Parsing with BERT
저자(Author)	Md Arman Hossen Sang-Jo Yoo 박천음 이창기 임준호 김현기 Cheoneum Park Changki Lee Jun-Ho Lim Hyunki Kim
원문수록처(Citation)	VOL 46 NO. 01 PP. 0530 ~ 0532 (2019. 06)
한글내용 (Korean Abstract)	최근 BERT는 다양한 자연어처리 태스크에 적용되어 많은 성능 향상을 보이고 있다. BERT는 양방향성을 가진 트랜스포머(transformer)를 기반으로 언어 모델을 사전 학습하고 자연어처리 태스크를 위하여 출력층(layer)을 추가한 후에 fine-tuning한다. 의존구문분석은 문장 구조를 의존소(modifier)와 지배소(head) 간의 의존 관계로 표현한 자연어처리 태스크 중 하나이며, 어텐션(attention)을 이용한 모델들이 높은 성능을 보이고 있다. 본 논문에서는 한국어 의존구문분석을 해결하기 위하여 BERT를 이용한 어텐션 기반 의존 구문 분석 모델을 제안한다. 본 논문에서 사용하는 BERT는 한국어 특성을 반영하기 위하여 형태소 분석을 수행하고, OOV (Out Of Vocabulary) 문제를 해결하기 위하여 BPE (Byte Pair Encoding)를 적용한 대용량 코퍼스로 언어 모델을 학습하였다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 의존 구문 분석 연구들 보다 좋은 (세종 코퍼스) UAS 94.06%, LAS 92.00%, (SPMRL) UAS 93.86%, LAS 93.30%의 성능을 보였다.
영문내용 (English Abstract)
키워드(Keyword)
원문	PDF 다운로드