3. 시각화에서 텍스트 / Loading & Monitoring with Pytorch

 

• Title: 가장 큰 주제
• Label: 축
• Tick Label: 축에 눈금을 사용
• Legend: 범례
• Annotation: 이 외 시각화에 대한 설명

  ---

model.save()

• 학습의 결과를 저장
• 모델의 형태와 파라미터를 저장
• 중간 과정 저장을 통해 최선의 결과모델 선택
• 결과의 재연성 
• state_dict: 모델의 파라미터를 ordered dict 형태로 저장

torch.save(model.state_dict(), os.path.join(PATH, "model.pth"))

checkpoints

• 학습의 중간 결과를 저장
• epoch, loss, metric을 지속적으로 확인 저장
• 학습을 중단하였다가 다시 진행하기 위해 필요

Freezing

• pretrain 된 모델의 파라미터 일부를 고정
• 다양한 freezing 기법이 존재
• required_grad = False 로 freezing 가능

---

딥러닝 학습에는 일반적으로 긴 시간이 소요되며 이를 모니터링 하기 위한 편리한 툴이 많이 존재한다. 

• Tensorboard: TensorFlow의 프로젝트로 만들어진 시각화 도구. 학습 그래프, metric, 결과 시각화를 지원.
  • scalar
  • graph
  • histogram
  • image
• weight & biases: 머신러닝 실험을 지원하기 위한 상용도구로 협업, code versioning, 실험 결과 기록 등 다양한 기능을 제공한다.