Kim Seon Deok

학습의 과정 1.Feed Forward = Forward propagation = Inference 2. Loss and Gradient = Back propagaton 3.Update = Optimize -네트워크(모델)가 입력으로 데이터를 받아 출력을 내보내주는 과정 -사용자가 설정한 네트워크 구조를 따라가며 연산이 진행 -연산과정은 행렬의 형태로 계산 Affine연산 : 입력(x)과 가중치(w)의 행렬곱을 이용해 한번에 출력을 계산 Softmax Function -분류문제에 사용 -출력을 확률값으로 나타냄(출력의 총합은 1) -입력의 지수함수에 모든 입력의 지수함수의 합으로 나누어 줌 -네트워크 구조에 따라 목적, 성능이 달라짐 >> MLP, CNN, RNN Multi Layer Perception..

RNN의 한계 long-term dependency 중요한 정보가 recurrent step이 계속됨에 따라 희석되는 문제 LSTM(Long short - term memory) RNN의 한계를 보완중요한 정보만 선택하여 다음 state에 전달함Cell에 정보를 저장정보들은 gate에 의해서 선택됨 >> 중요한 정보들을 오랜기간 동안 가지고 멀리 갈 수 있게 한 구조 Cell state = 사람의 장기기억 모든 LSTM 연산을 관통하는 vector학습 데이터를 관통하는 중요한 정보들을 가지고 있음Gate구조를 통해 정교하게 정보가 추가되고 삭제됨목적 : 정보 보관! * RNN의 state vs LSTM의 state RNN의 state : 정보 저장, 정보 전달을 모두 함 LSTM의 state - 정보 저..

Sequential data : sequence를 갖고있는 data >> 이전 data가 이후 data에 영향을 미침 RNN(Recurrent Neural Network) -딥러닝 구조 중 하나 -가변적 길이의 연속적인 시퀀스 input 데이터를 처리하기 위해 고안된 모델 -이웃한 데이터간의 연관성을 표현 -'기억'을 뜻하는 'hidden state'를 가지고 있음 -새로운 입력이 들어올 때마다 기억을 조금씩 수정 -RNN은 추가된 input(xt)과 과거의 정보(ht-1)을 조합해, 새로운 정보(ht)를 생성 -원하는 시점에 생성된 정보(ht)를 통해 task를 수행 >> task에 따라서 yt가 필요한 / 필요하지 않은 경우가 달라짐 -input과 이전 state를 선형변환하여 결합한 후 activa..