6. Batch Normalization

Batch Normalization

기존 문제점 : 학습이 진행됨에 따라 나오는 feature map 수치 값의 범위가 크게 벌어지면 학습의 불안저성이 발생

해결법 : Batch normalization적용

          각 layer의 결과값인 feature map을 평균이 0, 표준편차가 1인 분포가 되도록 normalization시키기

 

Batch Normalization in CNN

CNN 과정은 Feature map 상에서 각 Channel 별로 각각의 Normalization 진행

각 고양이 이미지에서 추출된 feature map에서 파란색feature map은 파란색 끼리, 빨간색 feature map은 빨간색 끼리,,,묶어 Normalization 진행

Batch Normalization and Learnable parameters

모든 층(layer)의 결과 값이 비슷한 값의 범주를 갖는 현상이 좋은 것은 아니다.

특정 층은 좀 커야 하며 특정 층은 좀 작아야 좋다.

이를 네트워크 스스로 학습하도록 해야 한다.