thú vị. Nếu tôi nhớ không nhầm, việc loại trừ KV của token hiện tại bằng cách sử dụng attention mask (tức là loại bỏ đường chéo) không hiệu quả! Giả thuyết: điều này thực sự khiến token hiện tại trở thành một điểm thu hút sự chú ý.