intéressant. Si je me souviens bien, exclure le KV du token actuel par le masque d'attention (c'est-à-dire enlever la diagonale) ne fonctionne pas ! Hypothèse : cela fait effectivement du token actuel un puits d'attention.