Definición: Componente fundamental de la arquitectura Transformer que permite al modelo ponderar la relevancia de cada parte de la entrada al generar cada token de salida.
— Fuente: NERVICO, Consultoría de Desarrollo de Producto
Que es un mecanismo de atencion
El mecanismo de atencion (attention mechanism) es el componente central de la arquitectura Transformer que permite al modelo evaluar la relevancia de cada token en la secuencia de entrada al generar cada token de salida. En lugar de procesar la entrada de forma secuencial como las redes recurrentes, la atencion permite establecer conexiones directas entre cualquier par de posiciones, capturando dependencias a larga distancia de forma eficiente. Es la innovacion que hizo posible los LLMs modernos.
Como funciona
El mecanismo calcula tres vectores para cada token: Query (Q), Key (K) y Value (V). Para determinar cuanta atencion prestar a cada posicion, se computa el producto punto entre la Query de la posicion actual y las Keys de todas las posiciones, se escala y se aplica softmax para obtener pesos de atencion. Estos pesos ponderan los vectores Value para producir la salida. En la variante self-attention, Q, K y V se derivan de la misma secuencia, permitiendo que cada token atienda a todos los demas en paralelo.
Por que importa
Sin el mecanismo de atencion, los modelos de lenguaje no podrian manejar contextos largos ni capturar relaciones semanticas complejas entre palabras distantes en un texto. Es la razon por la que los Transformers superan a las arquitecturas anteriores en practicamente todas las tareas de procesamiento de lenguaje natural. Comprender la atencion es esencial para optimizar prompts, entender las ventanas de contexto y diagnosticar problemas en sistemas basados en LLMs.
Ejemplo practico
Un modelo procesa la frase “El banco esta cerca del rio”. El mecanismo de atencion permite que el token “banco” asigne alta atencion a “rio”, desambiguando su significado hacia la orilla del rio en lugar de una entidad financiera. Esta capacidad de contextualizar cada palabra en funcion de su entorno es lo que permite a los LLMs generar texto coherente y semanticamente correcto.
Terminos relacionados
- LLM - Modelos de lenguaje que utilizan mecanismos de atencion
- Transformer - Arquitectura basada en mecanismos de atencion
- Ventana de contexto - Limite de tokens que el mecanismo de atencion puede procesar
Ultima actualizacion: Febrero 2026 Categoria: Inteligencia Artificial Relacionado con: Transformer, Self-Attention, LLM, Deep Learning Keywords: mecanismo de atencion, attention mechanism, self-attention, transformer, query key value, deep learning