Kim Seon Deok

6-1 매개변수 갱신 신경망 학습의 목적 : loss function의 값을 가능한 한 낮추는 매개변수를 찾는 것 최적화(optimization) : 매개변수의 최적값을 찾음 optimizer : 최적화를 행하는 자. 매개변수를 갱신 1. 확률적 경사 하강법(SGD) 매개변수의 기울기를 구해 가장 크게 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해 점점 최적의 값에 다다름 w : 가중치 매개변수, n : 학습률, aL/aw : 기울기(손실함수) 심하게 굽어진 움직임 비등방성 함수(방향에 따라 기울기가 달라짐.) - 탐색 경로가 비효율적 기울어진 방향이 본래의 최솟값과 다른 방향을 가리킴 2.모멘텀(Momentum) 기울기 방향으로 힘을 받아 물체가 가속된다. v : 속도, av: 물체가 아무런 힘..

5-1. 계산 그래프 오차역전파법 = 역전파(backpropagation) 가중치 매개변수의 기울기를 효율적으로 계산하는 방법 계산그래프 : 계산과정을 그대로 나타낸 것 - 복수의 노드와 에지로 표현 순전파(forward propagation) 계산그래프의 출발점 ~ 종착점으로의 전파 국소적 계산을 전파함으로써 최종 겨로가를 얻음 * 계산 그래프의 이점 국소적 계산을 통해 각 노드에서 단순한 계산에 집중해 문제를 단순화 시킴 중간중간 계산결과를 모두 보관할 수 있다. 순전파, 역전파를 통해 '미분'을 효율적으로 계산할 수 있다. 5-2. 연쇄법칙(chain rule) 합성함수 : 여러 함수로 구성된 함수 연쇄법칙 : 합성함수의 미분에 대한 성질 연쇄법칙의 원리 : 합성함수의 미분은 합성함수를 구성하는 각..

4-1. 데이터에서 학습 학습 : train data로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 손실함수(loss) : 신경망이 학습할 수 있도록 해주는 지표 학습의 목표 : 손실함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것 s > 신경망(딥러닝) > 결과 모아진 데이터로부터 규칙을 찾아내는 것 - 기계 이미지를 벡터로 변환할 때 사용하는 특징 설계 - 사람 종단간 기계학습 : 데이터(입력)에서 결과(출력)을 사람의 개입 없이 얻는다. 범용능력 : 아직 보지 못한 데이터(train data에 포함되지 않는 데이터)로도 문제를 올바르게 풀어내는 능력 >> 기계학습의 최종 목표 기계학습 1. train data 2. test data 1로만 학습해 최적의 매개변수를 찾음. 2로 앞서..

3-1. 퍼셉트론에서 신경망으로 a = 편향의 총합 h(x) = 활성화 함수(active function) >> 입력신호의 총합을 출력신호로 변환 입력이 0을 넘으면 1을 출력하고 넘지 못하면 0을 출력 3-2. 활성화 함수 1. step function : 임계값을 경계로 출력이 바뀜 0을 경계로 출력이 바뀜 0 이외의 값에서 미분값이 0이다. >> 매개변수의 미소한 변화에 거의 반응이 없다. 반응이 있더라도 불연속적으로 갑자기 변한다. def step_function(x): if x > 0: return 1 else: return 0 2. sigmoid function : 신경망에서 자주 이용하는 활성화 함수 sigmoid function을 이용해 신호를 변환하고, 변환된 신호를 뉴런에 전달 부드러운..

2-1 퍼셉트론이란 신경망(딥러닝)의 기원이 되는 알고리즘 다수의 신호를 입력으로 받아 하나의 신호를 출력 x1 ,x2 : 입력신호 y : 출력신호 ​ w1x1 + w2x2 θ » 활성화 w1, w2 : 가중치 » 각 입력신호가 결과에 주는 영향력(중요도)를 조절하는 매개변수 θ : 임계값 b = -θ : 편향 >> 뉴런이 얼마나 쉽게 활성화 하는지를 조정하는 매개변수 2-2. 단순한 논리회로 (단층)퍼셉트론은 직선으로 나뉜 두 영역을 만든다. 학습 : 적절한 매개변수 값을 정하는 작업 퍼셉트론의 구조는 AND, NAND, OR게이트 모두에서 똑같다. 매개변수(가중치, 임계값) 의 값만 다르다. def AND(x1,x2): w1, w2 ,theta = 0.5,0.5,0.7 tmp = x1*w1 + x2 ..