En 1997 Sepp Hochreiter y Jürgen Schmidhuber publican 'Long Short-Term Memory' en Neural Computation, introduciendo la arquitectura LSTM: una red neuronal recurrente con puertas de control que regulan qué información se retiene, se olvida o se transmite a lo largo de secuencias de longitud arbitraria. El problema que resuelven es el gradiente desvaneciente: en las redes recurrentes estándar, el gradiente del error se multiplica repetidamente por los pesos de la red al retropropagarse en el tiempo, tendiendo a cero exponencialmente con la longitud de la secuencia. En la práctica esto significa que las redes recurrentes no pueden aprender dependencias entre elementos separados por más de unas pocas posiciones en la secuencia — una limitación fatal para el lenguaje natural, la música, las series temporales o cualquier dominio con dependencias a largo plazo. LSTM resuelve esto mediante tres puertas aprendibles —entrada, olvido y salida— que controlan el flujo de información a través de una célula de memoria cuyo estado puede persistir a lo largo de secuencias de cientos o miles de pasos. Durante dos décadas LSTM es el estado del arte en procesamiento de secuencias: traducción automática, reconocimiento de voz, síntesis de texto. La arquitectura Transformer (2017) la desplazará al resolver el mismo problema con mayor eficiencia mediante mecanismos de atención, pero LSTM es el puente intelectual que demuestra que las dependencias a largo plazo en secuencias son aprendibles.