Ktoś właśnie obejść Neural Engine Apple, aby trenować modele. Neural Engine w każdym Macu z serii M został zaprojektowany do wnioskowania. Uruchamiaj modele, nie trenuj ich. Brak publicznego API, brak dokumentacji, a z pewnością brak wstecznej propagacji. Badacz zreverse'ował prywatne API i zbudował pętlę treningową transformatora, która wykonuje przejścia do przodu i do tyłu bezpośrednio na sprzęcie ANE. Metoda całkowicie omija CoreML. Zamiast korzystać z oficjalnych narzędzi Apple, projekt konstruuje programy w MIL (Model Intermediate Language), kompiluje je w pamięci za pomocą nieudokumentowanych API `_ANEClient` i przesyła dane przez bufor pamięci współdzielonej IOSurface. Wagi są wbudowywane w skompilowane programy jako stałe. E każdy krok treningowy uruchamia sześć niestandardowych rdzeni: uwaga do przodu, feedforward do przodu, a następnie cztery przejścia do tyłu, które obliczają gradienty względem wejść. Gradienty wag nadal działają na CPU przy użyciu bibliotek macierzy Accelerate, ale ciężka praca (mnożenie macierzy, softmax, funkcje aktywacji) odbywa się na ANE. To sprawia, że trzy rzeczy są możliwe, które wcześniej nie były: 1. Trenowanie małych modeli lokalnie bez wyczerpywania baterii 2. Dostosowywanie na urządzeniu bez wysyłania danych na serwer lub uruchamiania GPU 3. Badania nad tym, co sprzęt ANE może naprawdę zrobić, gdy zignorujesz zabezpieczenia Apple Jeśli to podejście się rozwinie, następna fala AI na urządzeniach przestaje dotyczyć uruchamiania zamrożonego modelu kogoś innego.