Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks

https://arxiv.org/abs/2003.02800v1

Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks

abstract

현대의 딥 네트워크는 높은 메모리와 에너지를 요구하여, 본 논문에서는 CNN 학습 중에서 필터를 prune(제거)하여 재훈련을 하지 않는 "학습하면서 pruning(잘라내기)" 기술을 통해 메모리와 에너지를 줄이는 것을 제안한다.

 

purning(잘라내기)는 일반적으로 네트워크를 훈련한 후 수해오디며 발생하는 정확도 손실을 보상하기 위해 추가로 재교육된다. prune-retrain(잘라내기-재훈련) 과정은 정확도와 효율서 간의 최적의 균형에 도달할때까지 되풀이한다. 그러나 이 반복하여 재교육하는 것은 훈련 복잡성을 증가시켜, 본 논문의 기술로 단점을 보완시켰다.

 

평가는 기존에 있는 세 가지 pruning 전략(mean-activation pruning/random pruning/L1 normalization-based pruning)와 본 논문에서 제시하는 기술을 비교하였다.

VGG-16(CIFAR10으로 이미 훈련된 모델) 모델을 적용했을 때, 기존 방법 세 가지 중에서는 L1 normalization-based pruning 기법이 가장 좋았는데, 본 논문에서 제시한 기술은 이보다 정확도를 유지하면서 불필요한 필터를 50%를 더 잘 골라냈다.