4. Convolution

파라미터 갯수 계산하기 (Padding (1), Stride (1), 3 X 3 Kernel)

3 * 3 * 128의 convolution 필터를 이용하여 계산하면 1개의 채널을 가진 output이 나오고, 64개의 채널이 필요하기 때문에 3 * 3 * 128 * 64 = 73,728의 파라미터가 필요하다.

AlexNet의 파라미터

1 * 1 convolution 

• Dimension 축소
• 파라미터 감소
• bottleneck architecture

---

AlexNet

• 8 layer
• ReLU 
• 2 GPU

VGGNet

• 3 X 3 convolution filters

GoogLeNet

• Inception Block: 파라미터 개수를 줄임

1x1 convolution으로 줄어든 parameter

ResNet

• Skip Connection
• Bottleneck Architecture

DenseNet

• Addition 대신 concatenation
• DenseBlock으로 channel의 개수를 늘리고 Transition Block에서 1 x 1 convolution으로 크기를 줄인다. 

---

Semantic Segmentation

• 픽셀이 어떤 물체에 속하는지.
• 자율주행에 사용가능. 
• Fully Convolutional Network 사용. "Convolutionalization"
• 파라미터의 개수에 변화는 없다. 하지만 이를 이용해서 heat map을 만들 수 있다. (?)
• Deconvolution: Spatial Dimension을 키운다. 

Detection

• R-CNN: 이미지 안에서 박스를 2000개 가량 뽑고, 박스의 feature를 Alexnet을 이용하여 계산한뒤, linear SVM으로 분류. 하나의 이미지당 2000번의 CNN을 돌려야 한다는 문제가 있다.
• SPPNet: CNN을 한번 돌려서 얻어지는 feature map의 부분들을 이용.
• Fast R-CNN

• Faster R-CNN: Region Proposal Network + Fast R-CNN. Anchor Box 이용
• YOLO(v1): Bounding box를 따로 뽑는 과정을 없애서 시간을 단축시킴. 

각 셀에 대해서 B개의 Bounding Box(x/y/w/h)를 예측하고(B=5) 그에대한 confidence도 예측한다 (box를 사용할지 말지). 각 셀에서 object의 class probability 예측.