Saluda a la Atención Exclusiva por Sí misma (XSA), una mejora (casi) gratuita para Transformers en LM. Observación: para y = attn(q, k, v), yᵢ y vᵢ tienden a tener una similitud coseno muy alta. Solución: excluir vᵢ de yᵢ a través de zᵢ = yᵢ - (yᵢᵀvᵢ)vᵢ/‖vᵢ‖² Resultado: mejor pérdida de entrenamiento/validación en todos los tamaños de modelo; ganancias crecientes a medida que aumenta la longitud de la secuencia. Ver más: