Den här REPL är inte som något du sett förut. Den körs på ett neuralt nätverk. Det är ett feedforward-nätverk som använder uppmärksamhet, och det implementerar en fullt fungerande wasm-tolk. När jag såg en artikel om ämnet wasm-tolkning av LLM:er var jag tvungen att bygga detta. Wasm + tekniken bakom AI + en repl ... som körs i en webbläsare och byggdes och distribuerades på Replit – detta är en hyllning till @amasad, en av mina personliga hjältar 🐐 Idén bygger på ett nyligen inlägg av @PerceptaAI men de tillhandahöll inte modellarkitekturen eller egentligen några viktiga implementeringsdetaljer, så jag var tvungen att göra mycket av att lista ut och testa med Replit-agenten för att bygga det – det är häpnadsväckande att AI kan producera detta – en neural nätverksarkitektur med handgjorda vikter för att implementera något för nytt för att finnas i någon av dess träningsdata. P.s. allt gjordes på min telefon, det mesta medan jag flög från SFO till München, vilken tid att leva!