GPT 모델 사용해보기

자연어 생성

• Grid Search 방식
• model.generate를 사용하면 가장 확률 값이 높은 결과를 선택

 

• Beam Search 방식
• 확률의 합이 가장 커지는 방식 (문장 자체의 문법적 확률이 높아짐) 
• 시간이 오래걸림
• no_repeat_n_gram_size를 설정하여 결과가 반복되는 것을 막을 수 있음

  output = model.generate(
      input_ids, 
      max_length=30, 
      num_beams=5, 
      no_repeat_ngram_size=2, 
      early_stopping=True
  )​

• Beam Search 방식은 유사한 문장을 많이 만들어냄
• 인간이 자연어를 생성할 때, 높은 확률의 문장만 만드는 것이 아님 → temperature 설정, random sampling, top_k_sampling, top_p_sampling

---

Ko-GPT를 이용하여 one-shot, few-shot, zero-shot 가능

 

• enable_padding과 enable_truncation으로 padding, truncation 가능

pad_id = tokenizer.token_to_id("<pad>")
print(pad_id)
tokenizer.enable_padding(pad_id=pad_id, pad_token="<pad>")
tokenizer.enable_truncation(max_length=128)