El aprendizaje está limitado por la termodinámica

Físicos han descubierto que, a nivel neuronal, la eficiencia del aprendizaje está finalmente limitada por las leyes de la termodinámica, al igual que muchos otros procesos familiares.

"La mayor importancia de nuestro trabajo es que traemos la segunda ley de la termodinámica al análisis de redes neuronales", dijo a Phys.org Sebastian Goldt, de la Universidad de Stuttgart. "La segunda ley es una declaración muy poderosa sobre cuáles son las transformaciones posibles y el aprendizaje es sólo una transformación de una red neuronal a expensas de la energía, lo que hace que nuestros resultados sean bastante generales y nos lleva un paso hacia la comprensión de los límites últimos de la eficiencia de redes neuronales".

Goldt y el coautor Udo Seifert han publicado un artículo sobre su trabajo en un número reciente de Physical Review Letters.

Dado que toda la actividad cerebral está ligada al funcionamiento de miles de millones de neuronas, a nivel neuronal, la cuestión de "¿cómo podemos aprender con eficiencia?" se convierte en la cuestión de "¿hasta qué punto una neurona puede ajustar su señal de salida en respuesta a los patrones de señales de entrada que recibe de otras neuronas?".

A medida que las neuronas mejoran al operar en respuesta a ciertos patrones, los pensamientos correspondientes se refuerzan en nuestros cerebros, como implica el adagio "fire together, wire together" ("Las neuronas que disparan juntas/se activan simultáneamente, se enlazan/refuerzan la sinapsis").

En el nuevo estudio, los científicos mostraron que la eficiencia del aprendizaje está limitada por la producción de entropía total (que determina el rendimiento de máquinas térmicas) de una red neuronal. Demostraron que, cuanto más lenta es una neurona, menos calor y entropía produce, aumentando su eficiencia. A la luz de este hallazgo, los científicos introdujeron una nueva medida de eficiencia de aprendizaje basada en las necesidades energéticas y la termodinámica.

Como los resultados son muy generales, pueden aplicarse a cualquier algoritmo de aprendizaje que no utilice retroalimentación, como los que se utilizan en las redes neuronales artificiales.

"Tener una perspectiva termodinámica en las redes neuronales nos da una nueva herramienta para pensar en su eficiencia y nos da una nueva forma de evaluar su desempeño", dijo Goldt. "Encontrar la red neuronal artificial óptima con respecto a esa clasificación es una posibilidad emocionante, y también un reto".

En el futuro, los investigadores planean analizar la eficiencia de los algoritmos de aprendizaje que emplean retroalimentación, así como investigar la posibilidad de probar experimentalmente el nuevo modelo.

"Por un lado, estamos investigando lo que la termodinámica puede enseñarnos sobre otros problemas de aprendizaje", dijo Goldt. "Al mismo tiempo, estamos buscando maneras de hacer que nuestros modelos y por lo tanto nuestros resultados sean más generales. Es un momento emocionante para trabajar en redes neuronales", comentó.