Un poco de Deep Learning con Daniel Graupé

En 'Deep Learning Neural Networks' tenemos un austero y bastante conciso libro de texto sobre redes neuronales y su aplicación en deep learning. No se detiene el autor en florituras ni se adorna lo más mínimo. Simplemente, explica los conceptos de una manera en general breve y directa.
El libro nos habla básicamente de tres cosas: los mecanismos comunes en redes neuronales, la descripción de las topologías más comunes y una serie de casos de estudio sencillos realizados por estudiantes de un curso del que el autor, Daniel Graupe, es profesor. Y, para ello, se estructura en nueve capítulos:

• 'Deep learning neural networks': donde define lo que es una red neuronal y hace un repaso histórico del desarrollo de esta disciplina.


• 'Basic concepts of neural networks': donde explica una serie de conceptos/mecanismos comunes en redes neuronales: el principio de Hebb, el Perceptrón, la memoria asociativa, el principio de "todo para el ganador" y la Integral de Convolución.


• 'Back Propagation': Explica las redes de back propagation, el algoritmo definido por Rumelhart, y algunas modificaciones posteriores como el sesgo.


• 'The Cognitron and Neocognitrón': explica estas dos redes, la segunda una evolución de la primera, definidas por Fukushima y empleadas fundamentalmente en el reconocimiento de patrones.


• 'Deep Learning Convolutional Neural Networks': nos habla de ConvNet, la red de convolución definida por Yann LeCun y su equipo en 1998, y que según el autor es la más popular en deep learning. A esta red dedica ya algo más de espacio que a las anteriores para hablarnos de su arquitectura y luego desarrollar el funcionamiento de los componentes como las capas de convolución, la retropropagación, la unidad de rectificación lineal, las capas de pooling, el dropout y la capa de salida.


• 'LAMSTAR-1 and LAMSTAR-2 Neural Networks': el capítulo más extenso donde describe las redes LAMSTAR, diseñadas y patentadas por el autor, inspiradas en el funcionamiento del sistema nervioso central y utilizadas fundamentalmente como memoria a gran escala para el almacenamiento y recuperación de información. Nos detalla su estructura y paso a paso cómo se realiza el ajuste y aprendizaje


• 'Other Neural Networks for Deep Learning': nos cuenta, de forma más resumida, las características de otras redes neuronales, en concreto, las Máquinas de Boltzman, las redes recurrentes (Deep Recurrent Learning Neural Networks) y las Wavelet.


• 'Case Studies': Es una breve explicación de 20 casos de estudio realizados por estudiantes de cursos del autor. De estos casos de estudio se añade además, en un apéndice, el código fuente.


• 'Concluding comments': Hace un resumen del libro y unos comentarios finales.

Lo mejor de 'Deep Learning Neural Networks' es, probablemente, lo ordenado y directo que es, cómo estructura y clasifica el material de un forma clara y precisa. A cambio, quizá le falta un poco de contexto, un poco más de explicación y, los más especialistas, probablemente echen de menos también algo más de profundidad en la explicación de las redes salvo, tal vez, en el caso de las redes LAMSTAR una brevedad que, sin embargo, agradecerán probablemente aquellos que se acerquen a este libro como una primera introducción.
En conjunto, nos hallamos ante un tratado sobre redes neuronales en deep learning breve y austero pero útil y creo que bastante eficaz.
Daniel Graupé
(Fuente: Traducción y ligera elaboración propia de su currículum en el Departamento de Energía Eléctrica y Computadores de la Universidad de Illinois en Chicago)

Daniel Graupé

Daniel Graupe es profesor emérito de Ingeniería Eléctrica y Computadores, profesor emérito de Bioingeniería y profesor emérito adjunto de Neurología y Medicina de rehabilitación en la Universidad de Illinois en Chicago donde co-dirige el laboratorio de procesamiento de imagen y de señal. Es miembro del IEEE. Graduado por Technion, Israel Institute of Technology y doctorado en ingeniería eléctrica por la Universidad de Liverpool.
Fue editor asociado de la revista 'IEEE Transactions on Circuits and Systems' con responsabilidad en procesado de señal y de 'IEEE Transactions on Neural Systems and Rehabilitation Engineering'. Actualmente es editor asociado de 'International Journal of Software Engineering and Knowledge Engineering' con responsabilidad en redes neuronales, de 'Neurological Research' con responsabilidad en neuroingeniería, de 'Psychline' y miembro del comité consultivo de 'BAM (Basic & Appl. Myology)'.
Es miembro del comité ejecutivo de la International Society of Bioelectromagnetism y participa en varios comités de la EEE's Signal Processing Society and Bioengineering society.
Es autor de cuatro libros de texto sobre sus campos de investigación, así como de capítulos de otros libros y 90 artículos en revistas científicas y más de 120 artículos en actas de conferencias científicas.
Antes de unirse a la Universidad de Illinois fue profesor distinguido del Illinois Institute of Technology en Chicago y ha sido profesor visitante de la University of California en Berkeley, de la Medical School of Tel-Aviv University en Israel, en el Swiss Federal Institute of Technology en Zurich, en University of Notre Dame, en Academia Sinica en Pekín y en la Northwestern University en Evanston.
Está en posesión de más de 20 patentes americanas y varias de otros paises.
Sus áreas de interés incluyen: sistemas de control, análisis de series temporales, procesado de señal, control biomédico, redes neuronales, filtrado adaptativo ciego, wavelets y stimulación eléctrica.
Ficha técnica:
TITULO: DEEP LEARNING. DESIGN AND CASE STUDIESAUTOR: Daniel GraupeEDITORIAL: World ScientificAÑO: 2016ISBN:  978-981-3146-44-0
PAGINAS: 280
Artículos de este blog relacionados

• Deep Learning, algo más que redes neuronales
• Redes neuronales: quizá no tan cerca del cerebro humano
• Dos definiciones y alguna duda sobre Deep Learning Neural Networks
• La razón de la existencia de las redes neuronales