-
Neural Kernels Without TangentsARXIV/Neural Network 2020. 3. 7. 22:08
https://arxiv.org/abs/2003.02237v2
Neural Kernels Without Tangents
We investigate the connections between neural networks and simple building blocks in kernel space. In particular, using well established feature space tools such as direct sum, averaging, and moment lifting, we present an algebra for creating "compositiona
arxiv.org
abstract
커널에서 신경망과 간단한 빌딩 블록간의 연결을 조사했다.
특히, 직합(direct sum), 평균화 (averaging), 모먼트 리프티(moment lifting)과 같은 잘 정립된 피쳐공간 도구를 사용하여 Bag of Features(BoF)에서 "포함(composition)" 커널을 작성하기 위한 대수학(algebra)를 제시한다. "NTK(nerua tangent kernals)"의 많은 구성 요소에 해당함을 보여주며, 실험을 통해 신경망 아키텍처와 관련 커널 사이의 테스트 오류에 상관관계가 있음을 알 수 있다.
3x3 convolutions/ 2x2 average pooling/ ReLU 함수, 손실함수(SGD, MSE)만 사용하고 CIFAR10 데이터셋에서 96% 정확도를 달성하고 해당 컴포지션 커널이 90% 정확도를 달성하는 손실함수(SGD, MSE)의 간단한 신경망 아키텍쳐를 개발했다.
또한 소규모 데이터셋을 신경망, NTK 및 본 논문에서 개발한 커널의 상대적 성능을 조사하기 위해 위의 구성으로 사용하였다.
특시, 우리는 개발한 커널이 NTK보다 뛰어나고 신경망이 두 커널 방법보다 뛰어나다는 것을 알아냈다.
'ARXIV > Neural Network' 카테고리의 다른 글
Matching Networks for One Shot Learning (0) 2020.04.13 Edge-labeling Graph Neural Network for Few-shot Learning (0) 2020.04.13 Bayesian Deep Learning and a Probabilistic Perspective of Generalization (0) 2020.03.17 Two-sample Testing Using Deep Learning (0) 2020.03.11 On Feature Normalization and Data Augmentation (0) 2020.03.10