4. Training & Inference

Loss

Loss도 nn.Module에 포함된다.

loss.backward()를 통해 gradient 가 update된다. 

 

• Focal Loss: Class Imbalance 문제가 있는 경우, 맞춘 확률이 높은 Class는 조금의 loss를, 맞춘 확률이 낮은 Class는 loss를 크게 부여
• Label Smoothing Loss: class target label을 one-hot으로 표현하는 것이 아닌, soft 하게 표현해서 일반화 성능을 높임 ex) [0,1 0, 0] -> [0.2, 0.7, 0.05, 0.05]

Metric

모델을 평가하기 위한 지표. 데이터에 따라서 잘 선택하는 것이 필요. Class Imbalance가 큰 경우 F1-Score, 아니면 Accuracy

Pytorch Lightning

좀 더 쉽게 코드 작성 가능

---

피어세션

https://www.notion.so/week-4-7a86a9c9d6e94b9291b967d4df9917c6

week 4

---

느낀점

삽질을 너무 많이 한 것 같다. 안되는 이유를 잘 모르겠으니까 많이 답답하다.