Kim Seon Deok

2-1. 자연어 처리란 자연어(Natural language) : 우리가 평소에 쓰는 말 > 살아있는 언어. 프로그래밍 언어와는 다르게 부드러운 언어 자연어 처리(Natural lanuage processing) : 우리의 말을 컴퓨터에게 이해시키기 위한 기술 목표 : 사람의 말을 컴퓨터가 이해하도록 만들어, 컴퓨터가 우리에게 도움이 되는 일을 수행하도록 함. 단어 : 의미의 최소단위 말 : 문자로 구성 & 말의 의미 : 단어로 구성 * 단어의 의미를 컴퓨터에게 잘 파악하도록 하는 방법 1. 시소러스를 활용한 기법 2. 통계기반 기법 3. 추론 기반 기법(Word2Vec) 2-2. 시소러스 시소러스 : 사람이 직접 단어의 의미를 정의한 유의어 사전. 뜻이 같은 단어(동의어), 뜻이 비슷한 단어(유의어)가..

7-1. 전체 구조 이전까지의 신경망 : 인접하는 계층의 모든 뉴런과 결합 - 완전연결(Affine계층) CNN으로 이루어진 네트워크 7-2. 합성곱 계층 - Affine 계층 사용 인접하는 계층의 뉴런이 모두 연결되고 출력의 수는 임의로 정함. 문제점 1.데이터의 형상이 무시된다. 이미지 : 가로*세로*채널(색상) 3차원 데이터 - 공간적 정보를 포함 데이터의 형상을 유지. 3차원 데이터로 입력받으며, 다음 계층에도 3차원으로 전달 feature map : 합성곱 계층의 입출력 데이터 (입력 : input feature map, 출력 : output featuremap) 합성곱 연산 - 입력 데이터에 '필터' 적용 - 입력과 필터에서 대응하는 원소끼리 곱한 후 총합 구함. padding : 입력데이터 ..

6-1 매개변수 갱신 신경망 학습의 목적 : loss function의 값을 가능한 한 낮추는 매개변수를 찾는 것 최적화(optimization) : 매개변수의 최적값을 찾음 optimizer : 최적화를 행하는 자. 매개변수를 갱신 1. 확률적 경사 하강법(SGD) 매개변수의 기울기를 구해 가장 크게 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해 점점 최적의 값에 다다름 w : 가중치 매개변수, n : 학습률, aL/aw : 기울기(손실함수) 심하게 굽어진 움직임 비등방성 함수(방향에 따라 기울기가 달라짐.) - 탐색 경로가 비효율적 기울어진 방향이 본래의 최솟값과 다른 방향을 가리킴 2.모멘텀(Momentum) 기울기 방향으로 힘을 받아 물체가 가속된다. v : 속도, av: 물체가 아무런 힘..

5-1. 계산 그래프 오차역전파법 = 역전파(backpropagation) 가중치 매개변수의 기울기를 효율적으로 계산하는 방법 계산그래프 : 계산과정을 그대로 나타낸 것 - 복수의 노드와 에지로 표현 순전파(forward propagation) 계산그래프의 출발점 ~ 종착점으로의 전파 국소적 계산을 전파함으로써 최종 겨로가를 얻음 * 계산 그래프의 이점 국소적 계산을 통해 각 노드에서 단순한 계산에 집중해 문제를 단순화 시킴 중간중간 계산결과를 모두 보관할 수 있다. 순전파, 역전파를 통해 '미분'을 효율적으로 계산할 수 있다. 5-2. 연쇄법칙(chain rule) 합성함수 : 여러 함수로 구성된 함수 연쇄법칙 : 합성함수의 미분에 대한 성질 연쇄법칙의 원리 : 합성함수의 미분은 합성함수를 구성하는 각..

4-1. 데이터에서 학습 학습 : train data로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 손실함수(loss) : 신경망이 학습할 수 있도록 해주는 지표 학습의 목표 : 손실함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것 s > 신경망(딥러닝) > 결과 모아진 데이터로부터 규칙을 찾아내는 것 - 기계 이미지를 벡터로 변환할 때 사용하는 특징 설계 - 사람 종단간 기계학습 : 데이터(입력)에서 결과(출력)을 사람의 개입 없이 얻는다. 범용능력 : 아직 보지 못한 데이터(train data에 포함되지 않는 데이터)로도 문제를 올바르게 풀어내는 능력 >> 기계학습의 최종 목표 기계학습 1. train data 2. test data 1로만 학습해 최적의 매개변수를 찾음. 2로 앞서..