Kim Seon Deok

학습의 과정 1.Feed Forward = Forward propagation = Inference 2. Loss and Gradient = Back propagaton 3.Update = Optimize -네트워크(모델)가 입력으로 데이터를 받아 출력을 내보내주는 과정 -사용자가 설정한 네트워크 구조를 따라가며 연산이 진행 -연산과정은 행렬의 형태로 계산 Affine연산 : 입력(x)과 가중치(w)의 행렬곱을 이용해 한번에 출력을 계산 Softmax Function -분류문제에 사용 -출력을 확률값으로 나타냄(출력의 총합은 1) -입력의 지수함수에 모든 입력의 지수함수의 합으로 나누어 줌 -네트워크 구조에 따라 목적, 성능이 달라짐 >> MLP, CNN, RNN Multi Layer Perception..

딥러닝이란? 신경망이 발전한 모델 2개 이상의 hidden layer를 지니고 있는 다층 신경망 Graphical Representation Learning 딥러닝의 발전 과적합과 Gradient Vanishing을 완화시킬 수 있는 알고리즘이 효과를 보임 Graphics processing unit을 신경망의 연산에 사용할 수 있게 되면서 학습 속도를 높일 수 있게 됌 Dropout 신경망의 학습과정 중 Layer의 노드를 랜덤하게 Drop함으로써 Generalization효과를 가져오게 하는 테크닉 Weight Matrix에 랜덤하게 일부 column에 0을 집어넣어 연산 >> Dropout을 적용하지 않은 신경망보다 Test error가 낮다 Activation 함수 ReLU함수(Rectified ..

퍼셉트론 최초의 인공지능 모형 Feed - Forward Network모형의 가장 간단한 형태, Input과 Output Layer만으로 구성된 선형분류모형의 형태를 띄고 있다. 퍼셉트론의 한계 : 비선형 분류 문제는 풀지 못한다. 활성화 함수(Activation Function) 특정 임계값의 초과 여부를 판단하는 함수 어떤 신호를 입력받아 이를 적절히 처리해 출력해주는 함수 1. Step Function Input 값이 0 이상이면 1, 이상이 아니면 0을 출력 2. Sigmoid Function Input 값이 0 이하이면 0.5 이하의 값, 0 이상이면 0.5 이상의 값을 출력 Back Propagation 과정 중 Gradient Vanishing 현상이 발생할 수 있다. 3. ReLU MLP(..

과적합의 발생원인 1. 학습할 샘플 데이터 수의 부족 학습할 데이터의 수가 많을 수록 모집단의 특성을 잘 반영할 확률이 높다. 모집단의 특성을 잘 반영할수록 과적합이 일어날 확률이 적어진다. 따라서 학습할 데이터의 수가 적을수록 과적합이 일어날 확률이 높다. 2.풀고자 하는 문제에 비해 복잡한 모델 적용 간단한 문제에 대해서는 간단한 모델 혹은 적은 변수를 사용해야 한다. 3.적합성 평가 및 실험 설계 학습 데이터와 검증 데이터로 분할하고 학습데이터로 모델을 학습한 후 검증 데이터에 모델을 적용시켜 과적합 여부를 판단해야 한다. 하이퍼파라미터(hyperparameter) : 학습데이터를 모델에 학습시킬 때 사용자가 지정해야 할 다양한 파라미터 학습 데이터(training data) : 머신러닝 모델함수 ..

RNN의 한계 long-term dependency 중요한 정보가 recurrent step이 계속됨에 따라 희석되는 문제 LSTM(Long short - term memory) RNN의 한계를 보완중요한 정보만 선택하여 다음 state에 전달함Cell에 정보를 저장정보들은 gate에 의해서 선택됨 >> 중요한 정보들을 오랜기간 동안 가지고 멀리 갈 수 있게 한 구조 Cell state = 사람의 장기기억 모든 LSTM 연산을 관통하는 vector학습 데이터를 관통하는 중요한 정보들을 가지고 있음Gate구조를 통해 정교하게 정보가 추가되고 삭제됨목적 : 정보 보관! * RNN의 state vs LSTM의 state RNN의 state : 정보 저장, 정보 전달을 모두 함 LSTM의 state - 정보 저..