닫기
Loading..

전자정보연구정보센터 ICT 융합 전문연구정보의 집대성

학술대회 프로시딩

홈 홈 > 연구문헌 > 학술대회 프로시딩 > 한국정보과학회 학술대회 > KSC 2019

KSC 2019

Current Result Document : 139 / 609 이전건 이전건   다음건 다음건

한글제목(Korean Title) RoBERTa를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의존파싱
영문제목(English Title) RoBERTa for Korean Natural Language Processing: Named Entity Recognition, Sentiment Analysis, Dependency Parsing
저자(Author) 민진우   나승훈   신종훈   김영길   Jinwoo Min   Seung-Hoon Na   Jong-Hoon Shin   Young-Kil Kim  
원문수록처(Citation) VOL 46 NO. 02 PP. 0407 ~ 0409 (2019. 12)
한글내용
(Korean Abstract)
최근 자연어 처리 연구에서 대용량 코퍼스로부터 문맥을 고려할 수 있는 BERT 등과 같이 양방향 트렌스포머를 통해 언어 모델을 사전학습하고 이를 응용 태스크에 적용하여 높은 성능을 달성하였다. 본 연구에서는 기존의 BERT의 Mask LM 태스크에서 매 학습마다 마스킹(Masking)되는 단어를 다르게 하는 Dynamic Mask LM 방식을 사용하는 등의 최적화를 통해 기존 BERT 모델을 개선한 RoBERTa 모델을 적용하고 형태소 단위의 토크나이저와 BPE 단위의 토크나이저를 결합하여 미등록어에 강건한 하이브리드 방식의 토크나이즈 방식을 제안하여 기존의 BERT 모델의 성능을 더욱 향상시켰다.
영문내용
(English Abstract)
키워드(Keyword)   
원문 PDF 다운로드