Salută Exclusive Self Attention (XSA), o îmbunătățire (aproape) gratuită la Transformers pentru LM. Observație: pentru y = attn(q, k, v), yi și vi tind să aibă o similaritate foarte mare a cosinusului Corect: exclude vi din yi prin zi = yi - (yiTvi)vi/‖vi‖² Rezultat: antrenament/pierdere de val mai bună la toate dimensiunile modelelor; creșterea creșterii pe măsură ce lungimea secvenței crește. Vezi mai mult: