𝗢𝗻𝗲 𝗺𝗲𝗺𝗼𝗿𝘆 𝗰𝗮𝗻’𝘁 𝗿𝘂𝗹𝗲 𝘁𝗵𝗲𝗺 𝗮𝗹𝗹. Chúng tôi giới thiệu 𝗟𝗼𝗚𝗲𝗥, một kiến trúc bộ nhớ 𝗵𝘆𝗯𝗿𝗶𝗱 mới cho việc tái tạo hình học với ngữ cảnh dài. LoGeR cho phép tái tạo ổn định trên quy mô lên đến 𝟭𝟬𝗸 𝗳𝗿𝗮𝗺𝗲𝘀 / 𝗸𝗶𝗹𝗼𝗺𝗲𝘁𝗲𝗿, với việc mở rộng theo thời gian 𝗹𝗶𝗻𝗲𝗮𝗿 trong độ dài chuỗi, suy diễn 𝗳𝘂𝗹𝗹𝘆 𝗳𝗲𝗲𝗱𝗳𝗼𝗿𝘄𝗮𝗿𝗱, và 𝗻𝗼 𝗽𝗼𝘀𝘁-𝗼𝗽𝘁𝗶𝗺𝗶𝘇𝗮𝘁𝗶𝗼𝗻. Tuy nhiên, nó vẫn đạt hoặc vượt qua các quy trình dựa trên tối ưu hóa mạnh mẽ. (1/5) @GoogleDeepMind @Berkeley_AI