Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Noen har nettopp omgått Apples nevral motor for å trene modeller.
Neural Engine inne i hver M-serie Mac var designet for slutning.
Kjør modeller, ikke tren dem. Ingen offentlig API, ingen dokumentasjon, og absolutt ingen backpropagation.
En forsker reverserte likevel de private API-ene og bygde en transformator-treningssløyfe som går fremover og bakover direkte på ANE-maskinvaren.
Metoden omgår CoreML fullstendig.
I stedet for å bruke Apples offisielle verktøy, konstruerer prosjektet programmer i MIL (Model Intermediate Language), kompilerer dem i minnet ved hjelp av udokumenterte '_ANEClient'-API-er, og sender data gjennom IOSurface delte minnebuffere.
Vekter blir bakt inn i de kompilerte programmene som konstanter. E
ACH-treningssteget sender seks tilpassede kjerner: Attention forward, feedforward forward, og deretter fire bakoverpasseringer som beregner gradienter med hensyn til input.
Vektgradienter kjøres fortsatt på CPU-en ved bruk av Accelerates matrisebiblioteker, men det tunge arbeidet (matrisemultiplikasjoner, softmax, aktiveringsfunksjoner) skjer på ANE.
Dette gjør tre ting mulig som ikke var det før:
1. Å trene små modeller lokalt uten å bruke opp batteriet
2. Finjustering på enheten uten å sende data til en server eller spinne opp GPU-en
3. Undersøk hva ANE-maskinvaren faktisk kan gjøre når du ignorerer Apples sikkerhetsmekanismer
Hvis denne tilnærmingen skalerer, slutter neste bølge av AI på enheten å handle om å kjøre andres frosne modell.
Topp
Rangering
Favoritter
