Kim Seon Deok

2. Back propagation Loss를 바탕으로 각각의 w 하나하나가 얼마나 영향을 주었는지 알아내고, 좀 더 적절한 방향으로 w들을 변경해 나가는 것 -학습의 목표 : 가능한 작은 loss 값을 갖는 w를 찾는 것 > 작은 loss & 좋은 w -w와 loss의 관계를 이용해 좋은 w를 찾아가는 방법 : 그래프의 기울기를 이용한 (경사 하강법) > 그래프의 최저점을 찾음 Gradiend decent(경사 하강법) = Back propagation의 수단 임의의 한 지점으로부터 시작해 loss가 줄어드는 방향으로 w(weights = parameters)들을 갱신하는 방법 loss가 더이상 감소하지 않는 시점까지 w를 음의 기울기 방향(-)으로 조금씩 움직이는 것을 여러 번 반복 목적지 : los..

데이터셋 구성 Training Set : 실제 학습에 사용되는 데이터 Validation Set : 학습 중간 중간에 사용되는 평가 데이터 Test Set : 학습과정에서는 절대 사용하지 않는 데이터. 학습 도중 네트워크가 볼 수 없는 데이터, 실제 사용되는 상황에서 마주하는 데이터 Weight Initalization -딥러닝 학습의 목표는 weight의 값을 찾는 것-weight의 가장 초깃값을 생각해 보았을때 그 시작이 어떠한 값이라 했을 때 반드시 좋은 weight에 도달할 수 있는 것은 아니다. >> 시작 값이 좋아야 학습도 잘 된다.-특정 분포를 정해두고 해당 분포에서 sampling한 값들ㅇ르 weight의 초깃값으로 설정-좋은 분포를 설정하는 것이 좋은 시작값을 갖는다. >> 보통은 정규분..

학습의 과정 2.Loss and Gradient = Backward propagation = 역전파 Loss function -Feed Forward를 통해 출력으로 나온 데이터가 실제 정답과 얼마나 차이가 나는지를 나타냄 -딥러닝 네트워크가 어떤 방향으로 학습되어야 하는지 학습의 방향을 설정하는 아주 중요한 부분 -이 Loss Func의 결과값을 토대로 네트워크의 Weight들이 업데이트 됨 -학습을 거듭 반복하면서 Loss Function값은 작아진다. 회귀(Regression)문제 >> Mean Squared Error(평균 제곱 오차) 분류(Classification)문제 >> Cross Entropy(교차 엔트로피 오차) -정답일 때의 출력이 전체 값을 결정 -실제 정답이 아닌 요소에 대해 잘못..