NLP/3주차
-
자연어 처리를 위한 언어 모델의 학습과 평가NLP/3주차 2021. 9. 24. 14:11
Language Modeling 주어진 문맥을 활용해 다음에 나타날 단어를 예측 P("오늘은 비가 온다") = P("오늘은") * P("비가"|"오늘은") * P("온다"|"오늘은 비가") 양방향 언어 모델링 ELMo(Embeddings from Language Models)에서 소개 순방향과 역방향으로 언어 모델링을 진행하고, 얻어진 양방향 embedding을 사용 언어 모델을 범용적으로 사용하여 모든 task에서 성능 향상을 이끌어냄 → LM의 가능성에 주목 → BERT의 등장 언어 모델의 평가 GLUE 벤치마크 (General Language Understanding Evaluation) Quora Question Pairs (QQP, 문장 유사도 평가) Question NLI (QNLI, 자연어 ..
-
캐글 팁NLP/3주차 2021. 9. 23. 14:00
유명 대회 플랫폼 캐글 데이콘 카카오 아레나 Why Kaggle? 실력을 인정받기 위해 성장을 위해 - 공유 문화 덕분에 배우기 좋다 캐글 대회 종류 Featured - 상업적 목적의 예측 대회 Reaserch - 연구 목적의 대회 Getting Started & Playground - 초심자를 위한 학습용 대회 Analytics - 데이터 분석 목적의 대회 Recruitment - 리크루팅 목적의 대회 대회 제출 방식 General Competition (리소스 제약 x) - submission.csv 파일만 제출 Code Competition (리소스 제약 o) - 캐글 노트북에서 코드를 실행시켜 제출을 해야함 대회를 위한 Pipeline 캐글 대회 우승을 위해 필요한 것 파이프라인의 효율적 반복 G..