-
Closed book QA with T5NLP/MRC 2021. 10. 18. 12:28
사전학습으로 학습한 대량의 지식이 있다면, 이미 하나의 knowledge storage가 아닐까? 굳이 다른 곳에서 지식을 가져와야 하는가?
사전학습 시 전혀 본 적 없는 Natural Questions 데이터셋에도 어느정도 대답이 가능.
Closed-book QA에 사용되는 방법은 Generation-based MRC와 유사
→ 단, 입력에 지문(Context)가 없이 질문만 들어간다는 것이 차이점
→ 사전학습된 언어 모델은 BART와 같은 seq-to-seq 형태의 Transformer 모델을 사용
→ Text-to-Text format에서는 각 입력값(질문)과 출력값(답변)에 대한 설명을 맨 앞에 추가
Fine Tuning T5
- Fine-tuning: MRC 데이터셋 (TriviaQA, WebQuestions, Natural Questions) 의 QA pair를 활용
- MRC 데이터셋에 제공되는 supporting document는 무시
- Input: Task-specific prefix 추가 ⇒ “trivia question: <question>”
- Natural Questions와 같이 답이 여러개인 경우 target ⇒ “answer: <answer 1> answer: <answer2>Salient Span Masking
고유 명사, 날짜 등 의미를 갖는 단위에 속하는 토큰 범위를 마스킹한 뒤 학습. Pre-trained 체크포인트에서 추가로 pre-training 함 → 성능을 많이 높임
Closed-book QA의 한계점 및 앞으로의 개선 방향
- 모델의 크기가 커서 계산량이 많고 속도가 느림 -> 더 효율적인 모델 필요
- 모델이 어떤 데이터로 답을 내는지 알 수 없음 -> 결과의 해석 가능성(interpretability)을 높이는 연구 필요
- 모델이 참조하는 지식을 추가하거나 제거하기 어려움
참고
https://arxiv.org/abs/1910.10683
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a div
arxiv.org
https://arxiv.org/abs/2002.08910
How Much Knowledge Can You Pack Into the Parameters of a Language Model?
It has recently been observed that neural language models trained on unstructured text can implicitly store and retrieve knowledge using natural language queries. In this short paper, we measure the practical utility of this approach by fine-tuning pre-tra
arxiv.org
https://arxiv.org/abs/2005.00700
'NLP > MRC' 카테고리의 다른 글
QA with Phrase Retrieval (0) 2021.10.18 Reducing Bias (0) 2021.10.18 Open Domain Question Answering (0) 2021.10.13 Passage Retrieval - Scaling Up (0) 2021.10.13 Dense Embedding (0) 2021.10.13