Denne REPL-en er ikke som noe du har sett før. Den kjører på et nevralt nettverk. Det er et feedforward-nettverk som bruker oppmerksomhet, og det implementerer en fullt fungerende wasm-tolk. Da jeg så en artikkel om wasm-tolkning av LLM-er, måtte jeg lage denne. Wasm + teknologien bak AI + en repl ... som kjører i en nettleser og er bygget og distribuert på Replit – dette er en hyllest til @amasad, en av mine personlige helter 🐐 Ideen er basert på et nylig innlegg fra @PerceptaAI, men de ga ikke modellarkitekturen eller egentlig noen av de viktige implementeringsdetaljene, så jeg måtte finne ut mye og teste med Replit-agenten for å bygge det – det er utrolig at AI kan produsere dette – en nevralt nettverksarkitektur med håndlagde vekter for å implementere noe for nytt til å være i noen av treningsdataene deres. P.s. alt ble gjort på mobilen min, det meste mens jeg fløy fra SFO til München, for en tid å være i live!