활성화 함수 (1) 뇌세포의 출력값 - 뇌세포는 항상 일정한 크기의 값을 출력함 (0 or 1) - 뇌세포의 출력물은 디지털 신호로 간주할 수 있음 (1) Sigmoid 함수 - 입력값을 0부터 1사이의 값으로 출력 (2) Tanh 함수 - -1 부터 1사이값으로 다듬어주며 입력값이 작을수록 -1에 가까운 값을 출력하고 입력값이 크면 1에 가까운 값을 출력하게 된다. 음수값을 사용하지 않으려는 추세가 등장하면서 선호도가 낮아짐 (3) ReLU 함수 - 0보다 작은값을 0으로 만들고, 0보다 큰 값은 그대로 출력한다. - 렐루는 뉴런의 활동을 모사하기 보단, 기울기 소실 문제(vanishing gradient problem)을 해결하기 위한 방법으로 조명됨 - 기울기 소실문제 : 딥러닝 신경망의 가중치 수..
