모델 최적화
-
Intro to 경량화모델 최적화 2021. 11. 22. 15:38
1. Efficient architecture design; AutoML, Neural Architecture Search 사람의 직관을 상회하는 성능의 모듈들을 찾아낼 수 있다. 2. Network Pruning; 찾은 모델 줄이기 중요도가 낮은 파라미터를 제거 좋은 중요드를 정의, 찾는 것이 주요 연구 토픽 중 하나 (L2 norm이 크면, loss gradient 크면) structured/unstructured pruning으로 나뉨 Structured Pruning: 파라미터를 그룹 단위(channel, filter, layer 등)로 pruning 하는 기법으로 Dense computation에 최적화됨 Unstructured Pruning: 파라미터를 독립적으로 pruning 하는 기법으로,..