3. Model

Pytorch

low level, pythonic, flexibility

 

Modules

pytorch의 모든 레이어는 nn.Module 클래스를 따른다

• nn.module family: nn.module을 상속받은 모든 클래스의 공통점 -> forward() 함수를 가진다, parameter

https://pytorch.org/docs/stable/generated/torch.nn.Module.html

Module — PyTorch 1.9.0 documentation

 

Pretrained Model

일반적으로 모델을 처음부터 학습시키는 것은 비효율적. 따라서 좋은 품질, 데이터로 미리 학습한 모델을 내 목적에 맞게 다듬어서 사용하는 pretrain 모델을 이용하는 방식이 많이 사용됨.

• 학습 데이터가 충분한 경우

• 학습 데이터가 충분하지 않은 경우 (pretrain 모델을 써도 성능이 별로인 경우가 많다)

 

---

과제 수행

성능 향상을 위해 vgg-16, efficientnet-b4, b5 등을 사용해보고, epoch 수도 늘려보고, 전체 데이터를 train으로 사용해보기도 했지만, 성능 향상이 크게 되지 않았다. 나보다 좋은 결과를 낸 피어들의 방식을 똑같이 따라해봤는데도 성능 개선이 되지 않았다. 현재 f1-score가 52정도인데, 팀원들과 같은 방식(pretrain된 resnet-18을 이용한 방식)으로 해도 70 정도 나오는 것 같은데 무엇이 문제인지 빠르게 알아내야할 것 같다. 성능이 70정도 되는 baseline 코드를 잡고 여기서 다양한 방식 k-fold, ensemble등을 적용하고 싶었는데 baseline이 잡히지 않으니까 계획에 자꾸 차질이 생긴다.

---

피어세션

https://fourth-sidecar-5a2.notion.site/week-4-7a86a9c9d6e94b9291b967d4df9917c6

week 4

---

 

성능이 잘 나오지 않아서 답답하다. 문제가 없는 것 같은데 나만 성능이 잘 나오지 않는 원인이 너무 궁금하다.