Deep Learning, algo más que redes neuronales

Cuando hace unas pocas fechas elucubrábamos sobre las definiciones de deep learning, una de los elementos poco claros era si deep learning es un nuevo nombre para las redes neuronales o se trata de un subconjunto de ellas, quizá una aplicación de ellas.
Una afirmación de Daniel Graupe en 'Deep Learning Neural Networks' parece disipar las dudas. Dice:

Deep learning can also be achieved with non-NN (non-neural networks) architectures, such as SVM (Support Vector Machines), which are general in range of applications, but usually slow.

Según esto, no hay identificación: deep learning es una cosa y redes neuronales otra...aunque parece que frecuentemente se solapan...
¿Todo el mundo opina lo mismo?