3.RCNN

 

 

RCNN 

'Regions with Convolutional Neuron Network'

Region Proposal 방식에 기반한 Object Detection

image classification을 수행하는 CNN과 localization을 위한 regional proposal알고리즘을 연결한 모델

 

세가지의 모듈로 구성된다.

1.Region Proposal - 물체의 영역을 찾는 모듈

2.CNN detection - 각각의 영역으로부터 고정된 크기의 Feature Vector을 뽑아내는 모듈

3.SVM classifier - Classification을 위한 선형 지도학습 모델

 

 

 

자세한 과정 설명은 다음과 같다.

1.image를 input으로 집어넣는다.

 

2.Region Proposal

Selective Search 알고리즘으로 regional proposal output 약 2000개 추출

모든 영역을 탐색하는 방법인 sliding down방식인 비효율적이므로 Region Proposal방법 이용

 

warping

추출한 2000개의 regional proposal output을 모두 동일한 크기로 warp(227*227크기로 이미지를  찌그러뜨림)하여 CNN모델에 넣는다.

 

*warp를 하는 이유? 

-Convolution layer는 input size가 고정적이지 않다. 하지만 FC layer에서의 input size는 고정이므로, Convolution layer에대한 output size도 동일해야 한다.

-RCNN모델의 Classification Dense layer로 인해서 이미지 크기가 동일해야 한다.

 

--------------------------------------------------딥러닝의 영역---------------------------------------------------------------

3-1.SVM(Support Vector Machine)

CNN모델로부터 feature가 추출되면 SVM을 통해 classification을 진행.

CNN으로부터 추출된 각각의  Feature Vector들의 점수를 Class별로 매기고, 객체인지 아닌지 객체라면 어떤 객체인지를 판별

 

*RCNN이 classification단계에서 softmax를 사용하지 않은 이유?

softmax보다 SVM이 더 좋은 성능을 보였기 때문.

---------------------------------------------------머신러닝의 영역------------------------------------------------------------

 

3-2.Bbox reg(Bounding box Regression)

Selective Search로 만들어낸 Bounding box는 완전히 정확하지 않으므로 물체를 정확히 감싸도록 조정해주는 선형회귀 모델을 추가 >> BB를 하지 않았을 때보다 성능이 더욱 향상됨. localition error 감소

이미지와 BB의 중점 사이 거리가 최소일수록, 두 사각형의 면적 차이가 최소일 수록 좋다.

수정 예측 값과 Target

손실함수

요약

하나의 이미지마다 selective search를 수행해 2000개의 region영역 이미지 도출

개별 이미지별로 2000개씩 생성된 region 이미지를 CNN을 통해 Feature map 생성

svm분류와 bounding box regression을 수행해 영역 위치 예측

 

R-CNN 장단점

장점

1.높은 Detection 정확도

동시대의 다른 알고리즘 대비 매우 높은 Detection 정확도

 

단점

1.복잡한 아키텍처 및 학습 프로세스로 인해 Detection시간이 오래걸린다

각기 따로 노는 구성들요소들 : selective search, CNN Feature Extractor, SVM과 Bounding box regressor로 구성되어 복잡

 

2.Region 영역 이미지가 Crop/Warp되어야 한다.

 

따라서 1장의 이미지를 Object Detection하는 데 약 50초 소요