Kim Seon Deok

MLP의 한계점 MLP는 입력데이터로 1차원 벡터만 사용 가능 2차원 이상의 데이터는 평탄화(flatting)과정을 사용 이 데이터들은 공간적 정보가 소실 Convolutional Neural Networks 시각적 영상을 분석하는 데 사용되는 다층의 feed-forward적인 인공신경망의 한 종류 CNN을 사용하는 이유 적은 수로 많은 Feature를 생성하므로 & 연산량이 적으므로 & 메모리 사용향이 적으므로 stationarity : 이미지 위치에 상관없이 동일한 특징들이 존재 Translation invariance : 입력이 바뀌어도 출력은 그대로 유지되어 바뀌지 않는다. Convoultion과 pooling을 반복하여 상위 feature을 구성 Convolution : Filter를 이용해 L..

데이터셋 구성 Training set 실제 학습에 사용되는 데이터(전체의 80%) Validation set 학습 중간 중간에 사용되는 평가 데이터 (전체의 약 10%) best performance model을 선택하는 데 사용됨 Test set 학습 과정에서는 절대 사용하지 않는 데이터 (전체의 약 10%) 내 모델이 실제 사용되는 상황에서 마주하는 데이터 >> 최종성능을 판단 validation set과 함께 사용하지 않는다!! Weight Initialization 딥러닝 학습의 목표 : 좋은 weight의 값을 찾는 것 시작이 어떠한값이어도 좋은 weight에 도달할 수 있을까? >> NO 시작 값이 좋아야 학습도 잘된다. 특정 분포를 정해두고 해당 분포에서 sampling 한 값들을 weigh..

2. Back propagation Loss를 바탕으로 각각의 w 하나하나가 얼마나 영향을 주었는지 알아내고, 좀 더 적절한 방향으로 w들을 변경해 나가는 것 -학습의 목표 : 가능한 작은 loss 값을 갖는 w를 찾는 것 > 작은 loss & 좋은 w -w와 loss의 관계를 이용해 좋은 w를 찾아가는 방법 : 그래프의 기울기를 이용한 (경사 하강법) > 그래프의 최저점을 찾음 Gradiend decent(경사 하강법) = Back propagation의 수단 임의의 한 지점으로부터 시작해 loss가 줄어드는 방향으로 w(weights = parameters)들을 갱신하는 방법 loss가 더이상 감소하지 않는 시점까지 w를 음의 기울기 방향(-)으로 조금씩 움직이는 것을 여러 번 반복 목적지 : los..

데이터셋 구성 Training Set : 실제 학습에 사용되는 데이터 Validation Set : 학습 중간 중간에 사용되는 평가 데이터 Test Set : 학습과정에서는 절대 사용하지 않는 데이터. 학습 도중 네트워크가 볼 수 없는 데이터, 실제 사용되는 상황에서 마주하는 데이터 Weight Initalization -딥러닝 학습의 목표는 weight의 값을 찾는 것-weight의 가장 초깃값을 생각해 보았을때 그 시작이 어떠한 값이라 했을 때 반드시 좋은 weight에 도달할 수 있는 것은 아니다. >> 시작 값이 좋아야 학습도 잘 된다.-특정 분포를 정해두고 해당 분포에서 sampling한 값들ㅇ르 weight의 초깃값으로 설정-좋은 분포를 설정하는 것이 좋은 시작값을 갖는다. >> 보통은 정규분..

학습의 과정 2.Loss and Gradient = Backward propagation = 역전파 Loss function -Feed Forward를 통해 출력으로 나온 데이터가 실제 정답과 얼마나 차이가 나는지를 나타냄 -딥러닝 네트워크가 어떤 방향으로 학습되어야 하는지 학습의 방향을 설정하는 아주 중요한 부분 -이 Loss Func의 결과값을 토대로 네트워크의 Weight들이 업데이트 됨 -학습을 거듭 반복하면서 Loss Function값은 작아진다. 회귀(Regression)문제 >> Mean Squared Error(평균 제곱 오차) 분류(Classification)문제 >> Cross Entropy(교차 엔트로피 오차) -정답일 때의 출력이 전체 값을 결정 -실제 정답이 아닌 요소에 대해 잘못..