5. Ensemble & Hyperparameter Optimization & Experiment

Model Averaging

soft voting이 더 좋을 확률이 있다. 

 

TTA (Test Time Augmentation)

테스트 이미지를 augmentation 후 모델 추론, 출력된 여러 결과를 앙상블한다. 

 

앙상블 기법에는 성능-효율 trade off가 존재한다. 

 

Hyperparameter Tuning

• Grid Search
• Random Search
• Bayseian Optimization (성능 좋음)

https://brunch.co.kr/@tristanmhhd/19

Bayesian Optimization

Optuna 라이브러리 이용가능

---

Tensorboard

학습 과정을 기록하고 트래킹 하는 것 가능.

https://tutorials.pytorch.kr/recipes/recipes/tensorboard_with_pytorch.html

PyTorch로 TensorBoard 사용하기 — PyTorch Tutorials 1.9.0+cu102 documentation

tensorboard

--logdir PATH: log가 저장된 경로

--host ADDR 원격 서버에서 사용시

-- port PORT 포트 번호

 

Weight and Bias (wandb)

딥러닝 로그의 깃헙

https://docs.wandb.ai/integrations/pytorch

PyTorch

---

과제 수행은 baseline 코드 분석을 하였으며 코드를 어떤식으로 작성해야하는지 갈피를 좀 잡게 되었다. 

---

피어세션

https://www.notion.so/week-4-7a86a9c9d6e94b9291b967d4df9917c6

 

---

느낀점

개인적으로 하다가 팀별로 협업하려니까 더 어려운 것 같다. 팀에게 기여할 수 있도록 코드 작성을 열심히 해야겠다.