Kim Seon Deok

3-1. 퍼셉트론에서 신경망으로 a = 편향의 총합 h(x) = 활성화 함수(active function) >> 입력신호의 총합을 출력신호로 변환 입력이 0을 넘으면 1을 출력하고 넘지 못하면 0을 출력 3-2. 활성화 함수 1. step function : 임계값을 경계로 출력이 바뀜 0을 경계로 출력이 바뀜 0 이외의 값에서 미분값이 0이다. >> 매개변수의 미소한 변화에 거의 반응이 없다. 반응이 있더라도 불연속적으로 갑자기 변한다. def step_function(x): if x > 0: return 1 else: return 0 2. sigmoid function : 신경망에서 자주 이용하는 활성화 함수 sigmoid function을 이용해 신호를 변환하고, 변환된 신호를 뉴런에 전달 부드러운..

2-1 퍼셉트론이란 신경망(딥러닝)의 기원이 되는 알고리즘 다수의 신호를 입력으로 받아 하나의 신호를 출력 x1 ,x2 : 입력신호 y : 출력신호 ​ w1x1 + w2x2 θ » 활성화 w1, w2 : 가중치 » 각 입력신호가 결과에 주는 영향력(중요도)를 조절하는 매개변수 θ : 임계값 b = -θ : 편향 >> 뉴런이 얼마나 쉽게 활성화 하는지를 조정하는 매개변수 2-2. 단순한 논리회로 (단층)퍼셉트론은 직선으로 나뉜 두 영역을 만든다. 학습 : 적절한 매개변수 값을 정하는 작업 퍼셉트론의 구조는 AND, NAND, OR게이트 모두에서 똑같다. 매개변수(가중치, 임계값) 의 값만 다르다. def AND(x1,x2): w1, w2 ,theta = 0.5,0.5,0.7 tmp = x1*w1 + x2 ..

Numpy 수학 및 과학 연산을 위한 python 패키지 Numeric + Python 주로 행렬 연산과 수치 해석을 위해 사용 Python 패키지이지만 내부적으로 C로 구현되어 속도가 빠르다 >> Numpy가 Python보다 빠르다 NLTK 자연어처리(Natural Language Processing, NLP) 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요분야 중 하나. 전통적인 NLP분석 방법을 제공해주는 도구 모음 패키지 주로 텍스트 데이터의 전처리 과정에서 사용 NLTK를 위한 Data pre - processing(데이터 전처리) 1.Tokenize 2.Stemming 3.Stopwords Tokenize 문장을 token으로 잘라주는..

Batch Normalization 기존 문제점 : 학습이 진행됨에 따라 나오는 feature map 수치 값의 범위가 크게 벌어지면 학습의 불안저성이 발생 해결법 : Batch normalization적용 각 layer의 결과값인 feature map을 평균이 0, 표준편차가 1인 분포가 되도록 normalization시키기 Batch Normalization in CNN CNN 과정은 Feature map 상에서 각 Channel 별로 각각의 Normalization 진행 Batch Normalization and Learnable parameters 모든 층(layer)의 결과 값이 비슷한 값의 범주를 갖는 현상이 좋은 것은 아니다. 특정 층은 좀 커야 하며 특정 층은 좀 작아야 좋다. 이를 네트워..

1. LeNet - 5[LeCun et al,. 1998] ImageNet Challenge winner Models 2. Alexnet[Krishevskv et al., 2012] 3.GoogleNet[Szegedy et al,. 2014] 4.ResNet[He et al,. 2015]