-
Separating the Effects of Batch Normalization on CNN Training Speed and Stability Using Classical Adaptive Filter TheoryARXIV/Convolution Neural Network 2020. 3. 3. 14:29
https://arxiv.org/abs/2002.10674v1
Separating the Effects of Batch Normalization on CNN Training Speed and Stability Using Classical Adaptive Filter Theory
Batch Normalization (BatchNorm) is commonly used in Convolutional Neural Networks (CNNs) to improve training speed and stability. However, there is still limited consensus on why this technique is effective. This paper uses concepts from the traditional ad
arxiv.org
abstract
BatchNormalization(배치정규화)는 CNN에서 훈련속도와 안전성을 향상시키는 방법 중의 하나이다. 이 방법론이 왜 효과가 있는지 명확히 밝혀내지 못했는데 본 논문에서 기존의 적응 필터 영역(traditional adaptive filter) 개념을 바탕으로 원리를 알아냈다.
먼저, CNN 가중치 업데이트는 CNN채널별상관행렬의 아이겐벨류에 연결되는 natural mode를 가지고 있음.
또한, 실험에서 얻은 결과는 학습속도와 안전성에 이득을 보임.
마지막, 처음 학습 단계에서 정규화 최소 Normalized Least Mean Square (NLMS)와 동일한 최적화를 맞추고 그 뒤 학습부터는 근사화함.
'ARXIV > Convolution Neural Network' 카테고리의 다른 글