자연어 처리를 위한 언어 모델의 학습과 평가

Language Modeling

주어진 문맥을 활용해 다음에 나타날 단어를 예측

P("오늘은 비가 온다")

= P("오늘은") * P("비가"|"오늘은") * P("온다"|"오늘은 비가")

 

양방향 언어 모델링 

• ELMo(Embeddings from Language Models)에서 소개
• 순방향과 역방향으로 언어 모델링을 진행하고, 얻어진 양방향 embedding을 사용
• 언어 모델을 범용적으로 사용하여 모든 task에서 성능 향상을 이끌어냄 → LM의 가능성에 주목 → BERT의 등장

언어 모델의 평가

1. GLUE 벤치마크 (General Language Understanding Evaluation)
   • Quora Question Pairs (QQP, 문장 유사도 평가)
   • Question NLI (QNLI, 자연어 추론)
   • The Stanford Sentiment Treebank (SST, 감성 분석)
   • The Corpus of Linguistic Acceptability (CoLA, 언어 수용성)
   • Semantic Textual Similarity Benchmark (MRPC, 문장 유사도 평가)
   • Recognizing Textual Entailment (RTE, 자연어 추론)
   • SQUAD 1.1 / 2.0 (질의 응답)
   • MultiNLI Matched (자연어 추론)
   • MultiNLI Mismatched (자연어 추론)
   • Winograd NLI (자연어 추론)
2. 한국어 자연어 이해 벤치마크 (KLUE)
   • 개체명 인식 (NER)
   • 품사 태깅 및 의존 구문 분석
   • 문장 분류
   • 자연어 추론
   • 문장 유사도
   • 관계 추출
   • 질의 응답
   • 목적형 대화

T5, BART와 같은 자연어 생성 모델의 평가에 활용됨