초기값 설정 초기값을 잘못 설정한다면 sigmoid를 통하고 하면서 w값을 가야되는데, 초기값에서 크게 벗어나지 못하는 문제가 발생 초기값을 잘 설정하는게 중요함 모델을 여러번 학습하다 보니, 학습된 모델이 다르게 나오게 된다. Weight Initializtion은 새로운 방법으로 여러 연구가 있었음 초기화 설정 문제 해결을 위한 Naïve한 방법 -표준 정규분포를 이용해 초기화 -표준편차를 0.01로 하는 정규분포로 초기화 Nural Net 굉장히 크고 노드가 많다면 하나의 레이어에 잇는 100개의 Normal한 Naive한 방법인 평균0 표준편차 1인 정규화 방법을 쓰면, 나중에는 양쪽 끝으로 몰리는 현상이 발생함 이러한 표준편차를 줄여보는 시도를 함 Xavier 초기화 방법 + Sigmoid 함수..
