Kim Seon Deok

데이터셋 구성 Training Set : 실제 학습에 사용되는 데이터 Validation Set : 학습 중간 중간에 사용되는 평가 데이터 Test Set : 학습과정에서는 절대 사용하지 않는 데이터. 학습 도중 네트워크가 볼 수 없는 데이터, 실제 사용되는 상황에서 마주하는 데이터 Weight Initalization -딥러닝 학습의 목표는 weight의 값을 찾는 것-weight의 가장 초깃값을 생각해 보았을때 그 시작이 어떠한 값이라 했을 때 반드시 좋은 weight에 도달할 수 있는 것은 아니다. >> 시작 값이 좋아야 학습도 잘 된다.-특정 분포를 정해두고 해당 분포에서 sampling한 값들ㅇ르 weight의 초깃값으로 설정-좋은 분포를 설정하는 것이 좋은 시작값을 갖는다. >> 보통은 정규분..

학습의 과정 2.Loss and Gradient = Backward propagation = 역전파 Loss function -Feed Forward를 통해 출력으로 나온 데이터가 실제 정답과 얼마나 차이가 나는지를 나타냄 -딥러닝 네트워크가 어떤 방향으로 학습되어야 하는지 학습의 방향을 설정하는 아주 중요한 부분 -이 Loss Func의 결과값을 토대로 네트워크의 Weight들이 업데이트 됨 -학습을 거듭 반복하면서 Loss Function값은 작아진다. 회귀(Regression)문제 >> Mean Squared Error(평균 제곱 오차) 분류(Classification)문제 >> Cross Entropy(교차 엔트로피 오차) -정답일 때의 출력이 전체 값을 결정 -실제 정답이 아닌 요소에 대해 잘못..

학습의 과정 1.Feed Forward = Forward propagation = Inference 2. Loss and Gradient = Back propagaton 3.Update = Optimize -네트워크(모델)가 입력으로 데이터를 받아 출력을 내보내주는 과정 -사용자가 설정한 네트워크 구조를 따라가며 연산이 진행 -연산과정은 행렬의 형태로 계산 Affine연산 : 입력(x)과 가중치(w)의 행렬곱을 이용해 한번에 출력을 계산 Softmax Function -분류문제에 사용 -출력을 확률값으로 나타냄(출력의 총합은 1) -입력의 지수함수에 모든 입력의 지수함수의 합으로 나누어 줌 -네트워크 구조에 따라 목적, 성능이 달라짐 >> MLP, CNN, RNN Multi Layer Perception..

딥러닝이란? 신경망이 발전한 모델 2개 이상의 hidden layer를 지니고 있는 다층 신경망 Graphical Representation Learning 딥러닝의 발전 과적합과 Gradient Vanishing을 완화시킬 수 있는 알고리즘이 효과를 보임 Graphics processing unit을 신경망의 연산에 사용할 수 있게 되면서 학습 속도를 높일 수 있게 됌 Dropout 신경망의 학습과정 중 Layer의 노드를 랜덤하게 Drop함으로써 Generalization효과를 가져오게 하는 테크닉 Weight Matrix에 랜덤하게 일부 column에 0을 집어넣어 연산 >> Dropout을 적용하지 않은 신경망보다 Test error가 낮다 Activation 함수 ReLU함수(Rectified ..

퍼셉트론 최초의 인공지능 모형 Feed - Forward Network모형의 가장 간단한 형태, Input과 Output Layer만으로 구성된 선형분류모형의 형태를 띄고 있다. 퍼셉트론의 한계 : 비선형 분류 문제는 풀지 못한다. 활성화 함수(Activation Function) 특정 임계값의 초과 여부를 판단하는 함수 어떤 신호를 입력받아 이를 적절히 처리해 출력해주는 함수 1. Step Function Input 값이 0 이상이면 1, 이상이 아니면 0을 출력 2. Sigmoid Function Input 값이 0 이하이면 0.5 이하의 값, 0 이상이면 0.5 이상의 값을 출력 Back Propagation 과정 중 Gradient Vanishing 현상이 발생할 수 있다. 3. ReLU MLP(..