5. 딥러닝 학습방법 이해하기

Softmax: 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산

softmax

softmax 함수의 구현

• axis는 연산을 수행할 축을 지정해준다. (3, 4, 3, 2)라는 dimension을 가지는 행렬이 있다고 치면 axis = -1은 맨 마지막 차원을 지정해준다. 연산을 하게되면 해당하는 축이 없어지는 방향으로 연산이 이루어진다 . Ex) (2,3) -> (2, )
•  Max값을 빼주는 이유는 값이 너무 커져 오버플로우가 일어나는 것을 방지하기 위함이다.  
• 학습을 하는 경우에는 softmax를, 추론을 하는 경우에는 one-hot 함수를 사용.

---

신경망은 선형모델과 활성함수를 합성한 함수이다. 활성함수는 비선형 함수이며 대표적으로 Sigmoid, tanh, ReLU가 있다. 이러한 함수들을 여러겹 쌓아서 신경망을 구성한다. 층을 여러개 쌓으면 목적함수를 근사하는데 필요한 뉴런의 숫자가 빨리 줄어든다. 

 

신경망에서는 Forward Propagation을 통해 결과를 도출하며 Back Propagation을 이용하여 파라미터를 업데이트한다. Back Propagation은 합성합수 미분법인 연쇄법칙(Chain-Rule) 기반 자동미분을 사용한다. Back Prop은 텐서를 저장해야해서 Forward Prop보다 더 많은 메모리를 요구한다. 

Chain Rule