> 385ms średni czas wyboru narzędzi. > 67 narzędzi na 13 serwerach MCP. > 14,5 GB pamięci. > Zero wywołań sieciowych. LocalCowork to agent AI, który działa na MacBooku. Oprogramowanie open source. 🧵
Budowanie lokalnego agenta AI brzmi świetnie, dopóki nie spróbujesz go używać przez cały dzień. Trudność nie polega na tym, aby model cię zrozumiał. Chodzi o to, aby wybrał odpowiednie narzędzie i zrobił to wystarczająco szybko, aby doświadczenie wydawało się interaktywne. Dlatego przetestowaliśmy LFM2-24B-A2B na laptopach, tworząc open-source'owego agenta desktopowego o nazwie LocalCowork.
Wszystko działa lokalnie: > model > narzędzia > dane Bez chmury. Bez kluczy API. Nic nie opuszcza maszyny.
Oceniliśmy model w realistycznym środowisku: > 67 narzędzi > 13 serwerów MCP Zadania takie jak skany bezpieczeństwa, przetwarzanie dokumentów, operacje na systemie plików i narzędzia systemowe. Wszystko działa na jednym laptopie Apple M4 Max z 36 GB pamięci. Na tej konfiguracji, LFM2-24B-A2B średnio osiągał ~385 ms na odpowiedź przy wyborze narzędzia, zajmując przy tym ~14,5 GB pamięci. To oznacza: > brak wychodzących wywołań API > brak podprocesów dostawcy > brak danych opuszczających urządzenie
20