En 2017 un equipo de Google publicó "Attention Is All You Need", presentando la arquitectura Transformer: un modelo de procesamiento de secuencias basado exclusivamente en mecanismos de atención, sin las redes recurrentes que dominaban el procesamiento de lenguaje hasta entonces. La ventaja fue doble: mejor rendimiento en traducción y otras tareas de lenguaje, y paralelización completa durante el entrenamiento — lo que permitía escalar a tamaños antes imposibles. El Transformer es la arquitectura subyacente de todos los grandes modelos de lenguaje modernos: GPT, BERT, LLaMA, Gemini, Claude. Es el equivalente para la IA de lo que la arquitectura von Neumann fue para la computación general.