Kim Seon Deok

Numpy 수학 및 과학 연산을 위한 python 패키지 Numeric + Python 주로 행렬 연산과 수치 해석을 위해 사용 Python 패키지이지만 내부적으로 C로 구현되어 속도가 빠르다 >> Numpy가 Python보다 빠르다 NLTK 자연어처리(Natural Language Processing, NLP) 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요분야 중 하나. 전통적인 NLP분석 방법을 제공해주는 도구 모음 패키지 주로 텍스트 데이터의 전처리 과정에서 사용 NLTK를 위한 Data pre - processing(데이터 전처리) 1.Tokenize 2.Stemming 3.Stopwords Tokenize 문장을 token으로 잘라주는..

Batch Normalization 기존 문제점 : 학습이 진행됨에 따라 나오는 feature map 수치 값의 범위가 크게 벌어지면 학습의 불안저성이 발생 해결법 : Batch normalization적용 각 layer의 결과값인 feature map을 평균이 0, 표준편차가 1인 분포가 되도록 normalization시키기 Batch Normalization in CNN CNN 과정은 Feature map 상에서 각 Channel 별로 각각의 Normalization 진행 Batch Normalization and Learnable parameters 모든 층(layer)의 결과 값이 비슷한 값의 범주를 갖는 현상이 좋은 것은 아니다. 특정 층은 좀 커야 하며 특정 층은 좀 작아야 좋다. 이를 네트워..

1. LeNet - 5[LeCun et al,. 1998] ImageNet Challenge winner Models 2. Alexnet[Krishevskv et al., 2012] 3.GoogleNet[Szegedy et al,. 2014] 4.ResNet[He et al,. 2015]

MLP의 한계점 MLP는 입력데이터로 1차원 벡터만 사용 가능 2차원 이상의 데이터는 평탄화(flatting)과정을 사용 이 데이터들은 공간적 정보가 소실 Convolutional Neural Networks 시각적 영상을 분석하는 데 사용되는 다층의 feed-forward적인 인공신경망의 한 종류 CNN을 사용하는 이유 적은 수로 많은 Feature를 생성하므로 & 연산량이 적으므로 & 메모리 사용향이 적으므로 stationarity : 이미지 위치에 상관없이 동일한 특징들이 존재 Translation invariance : 입력이 바뀌어도 출력은 그대로 유지되어 바뀌지 않는다. Convoultion과 pooling을 반복하여 상위 feature을 구성 Convolution : Filter를 이용해 L..

데이터셋 구성 Training set 실제 학습에 사용되는 데이터(전체의 80%) Validation set 학습 중간 중간에 사용되는 평가 데이터 (전체의 약 10%) best performance model을 선택하는 데 사용됨 Test set 학습 과정에서는 절대 사용하지 않는 데이터 (전체의 약 10%) 내 모델이 실제 사용되는 상황에서 마주하는 데이터 >> 최종성능을 판단 validation set과 함께 사용하지 않는다!! Weight Initialization 딥러닝 학습의 목표 : 좋은 weight의 값을 찾는 것 시작이 어떠한값이어도 좋은 weight에 도달할 수 있을까? >> NO 시작 값이 좋아야 학습도 잘된다. 특정 분포를 정해두고 해당 분포에서 sampling 한 값들을 weigh..