Kim Seon Deok

EfficientNet [ Mingxing Tan, Quoc V. Le] Rethinking Model Scaling for Convolutional Neural Networks conv 네트워크 모델의 크기를 키우는 방법 (accuracy & efficiency의 측면) 1. layer depth를 키우기 2. channel width를 늘리기 3. input image의 resolution을 올리기 >> 모델 architecture와 직접적으로 관련이 있지는 않다! EfficientNet은 한정된 자원으로 이 3가지의 최적의 조합(constant ratio)을 compound scailing 방법을 통해 연구한 논문이다. 기존에 나온 모델들을 조금 더 효율적으로 하기 위한 고찰로부터 비롯 mobile..

DenseNet https://arxiv.org/pdf/1608.06993.pdf Densely Connected Convolutional Networks CNN에 대한 많은 연구결과로부터 layer간 shortcut connection을 구성하면 convolution network가 상당히 깊어질 수 있고, 더 accuracy가 올라가며 학습시키는 데 매우 효율적이라는 것이 입증되었다. ResNet의 shortcut connection에서 영감을 받아 이를 확장하여 cnn 구조를 바꾸는 시도를 함. DenseNet은 ResNet과 많이 닮았다. 네트워크의 성능을 올리기 위한 접근방식이 비슷하다. * ResNet의 Residual Block을 보면 convolution의 연산결과와 convolution연..

CIFAR - 10 dataset 이용 보다 훨씬 더 깊은 네트워크에서 ResNet이 error rate를 줄일 수 있는지를 확인하기 위해 실험을 진행 size : 32*32 >> imagenet(224*224)에 비해 훨신 크기가 작다. 따라서 파라미터의 수를 감소시켜 별도의 resnet을 사용 number of class : 10 number of training images : 50000 number of test images : 10000 input : 32*32*3 도입부 7*7 conv, 64, 1/2 >>16*16*64 pool, 1/2 >> 8*8*64 크기가 같으므로 네트워크 변형 x 중간층 layer1 3*3 conv, 64 3*3 conv, 64 3*3 conv, 64 3*3 conv..

ResNet [He et al,. 2015] degradation problem : network가 깊어질수록 accuracy가 떨어지는(성능이 저하)문제. 1. vanishing gradient : 깊이가 깊어짐에 따라 많은 가중치값들이 소실되어 (작은 미분값이 0에 가까워짐)feature map이 점점 의미를 잃어가는 현상 2. exploding gradient : learning rate가 커짐에 따라 가중치값이 수렴하지 않고 발산하는 형태 overfitting : train data가 model에 과도하게 적합하게 학습된 상태 >> data로 인해 발생 degradation : 학습 과정에서 network가 깊어질 때 발생 Res : Residual(남은, 잔여의, 수학적으로 예측값과 실제값의 차..

GoogleNet[szegedy et al., 2014] 네트워크가 깊고 넓을수록 학습이 성능이 좋아질 것이라 생각. 네트워크가 너무 깊으면 -파라미터 수가 많아짐 >> 연산량 증가 & overfitting에 취약해질 수 있다. 1.모델 구조에 대한 연구 2.backpropagation을 효율적으로 전달하기 위한 연구 전체적으로 보면 inception module의 덩어리로 이루어진 구조 맨 앞부분 - inception module로 들어가기 위해 정제되는 부분 맨 뒷부분 - inception module로 정제된 output을 최종 결과로 만들어 주는 부분 inception module previous layer에서 input을 받아 4갈래로 나뉘어 연산이 진행. 4개의 feature map들을 con..