Acitivation 함수란 ?
- 각 Layer의 말단에서 일정 값 기준으로 classification 해주는 것
Sigmoid function의 단점
Backpropagation에서 Layer가 많아질수록 정확성이 매우 떨어진다. (Sigmoid를 통과하기 때문에 항상 1보다 작은 값이고 0에 가까운 값이 된다.) 결국은 입력이 크게 영향을 미치지 않고 0에 가까워져버리게된다.
Vanishing gradient 문제가 발생하여 gradient가 아주 작아지는 앞쪽 Layer에서는 제대로 된 학습이 이루어 질 수 없다. local minimum에 정착되업린다.
ReLu : Rectified Linear Unit
- 0보다 작을 경우 버리고 0보다 클 경우 값에 비례해서 커진다.
- 마지막 Layer의 출력은 반드시 Sigmoid를 사용해야한다. (마지막 Layer의 출력은 0~1 사이의 값이여야 하므로)
'Deep Learning' 카테고리의 다른 글
| ConvNet Max pooling 과 Full Network (1) | 2019.06.24 |
|---|---|
| CNN - Convolutional Neural Network (0) | 2019.06.24 |