Bayesian Deep Learning and a Probabilistic Perspective of Generalization

https://arxiv.org/abs/2002.08791v1

Bayesian Deep Learning and a Probabilistic Perspective of Generalization

Abstract

Bayesin 접근법의 핵심 포인트는 단일 가중치 세팅을 사용하는것이 아닌, 주변화이다. 이러한 주변화는 현대 심층 신경만 네트워크에서 정확도와 calibration을 향상 시킬수 있으며, 특히 데이터에 정해지지 않고 강력한 다른 솔루션을 보여 줄 수 있다. 

 

 여기서 깊은 앙상블이 Baysian 주변화에 근접하기 위한 효율적인 매커니즘을 제공하는 것을 보여주고, overhead가 없이 주변화를 통해 예측 분포를 향상시키는 접근법을 제안한다. 

 

또한, 확률론적 시각에서 일반적인 속성에 대해 설명하고, 신경만 네트워크 가중치의 모호한 분포에 대한 초과 기능에 대해 조사 한다.

 

이러한 시각에서 신경만 네트워크 일반화의 신비롭고 뚜렷한 결과를 설명하고, 결과가 Gaussian processes로 다시 만들어 지는 것을 보여준다.

 

결론적으로, tempering에서 예측 분포 측정을 위해 Bayesian 관점을 제공한다. 

 

---

주변화 : 여러 개의 확률변수로 구성된 조합 확률분포(joint distribution)에서 한 가지 변수에 대한 확률값을 추정하기 위해 나머지 변수를 모두 적분하여 제거하는 과정을 말한다. 즉, 

의 과정을 통해 B변수를 제거한다. [네이버 지식백과]