Un artículo publicado esta semana en arXiv presenta resultados que podrían alterar el panorama de la inteligencia artificial generativa. Investigadores de varias universidades estadounidenses y europeas proponen un modelo de lenguaje construido sobre arquitecturas de difusión, una técnica previamente exitosa en la generación de imágenes que ahora se aplica al texto con resultados sorprendentes.

Los modelos de lenguaje actuales, desde GPT hasta Gemini y Claude, se basan en la arquitectura transformer, introducida en 2017 y considerada durante años el estándar insuperable para el procesamiento de texto. El nuevo trabajo demuestra que los modelos de difusión, que generan texto iterativamente desde ruido aleatorio hasta estructuras coherentes, pueden alcanzar rendimientos similares en benchmarks estándar de razonamiento, summarización y código.

La diferencia clave radica en la eficiencia computacional. Mientras un transformer procesa todo el contexto de entrada en paralelo, un modelo de difusión genera cada token de forma secuencial, lo que paradójicamente reduce la memoria necesaria para contextos largos. Los investigadores reportan mejoras de hasta el 30 por ciento en el consumo energético durante la inferencia en textos de más de 10.000 tokens.

OpenAI y Google han seguido de cerca esta línea de investigación. Fuentes cercanas a ambas empresas confirman que tienen equipos internos explorando variantes híbridas que combinen elementos de ambas arquitecturas.