Un model cu 24 de miliarde de parametri tocmai rula pe un laptop și a ales unealta potrivită în mai puțin de jumătate de secundă. Adevărata poveste este că agenții care apelau unelte au devenit în sfârșit suficient de rapizi încât să pară software. Liquid a construit LFM2-24B-A2B folosind o arhitectură hibridă care combină blocuri de convoluție cu atenție grupată la interogări într-un raport 1:3. Doar 2,3 miliarde de parametri se activează per token, deși modelul complet deține 24 de miliarde. Acest tipar rar de activare este motivul pentru care încape în 14,5 GB de memorie și distribuie unelte în 385 de milisecunde pe un M4 Max. Arhitectura a fost proiectată prin căutare hardware-in-the-loop, ceea ce înseamnă că au optimizat structura modelului testând-o direct pe cipurile pe care urma să ruleze. Fără strat de translație a norilor. Fără API dus-întors. Modelul, uneltele și datele tale rămân pe mașină. Aceasta deblochează trei lucruri care înainte erau nepractice: 1. Industriile reglementate pot rula agenți pe laptopurile angajaților fără ca datele să părăsească dispozitivul. 2. Dezvoltatorii pot prototipa fluxuri de lucru cu mai multe unelte fără a gestiona cheile API sau limitele de viteză. 3. Echipele de securitate primesc trasee complete de audit fără ca subprocesatorii furnizorilor să fie implicați. Modelul a atins o acuratețe de 80% la selecția uneltelor cu un singur pas pe 67 de unelte răspândite pe 13 servere MCP. Dacă această performanță se menține la scară largă, trebuie actualizate două presupuneri. În primul rând, agenții de pe dispozitiv nu mai reprezintă un compromis între durata de viață a bateriei; Sunt o funcție de conformitate. În al doilea rând, blocajul în fluxurile de lucru agențice este trecerea de la capacitatea modelului la maturitatea ecosistemului de unelte.

Muncă uimitoare de la: @liquidai @ramin_m_h