Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-6,84%
USELESS
USELESS-7,79%
IKUN
IKUN-0,46%
gib
gib-2,28%
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-6,74%
ALON
ALON-3,68%
LAUNCHCOIN
LAUNCHCOIN-1,36%
GOONC
GOONC-2,63%
KLED
KLED-5,77%
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,02%
Boopa
Boopa-4,84%
PORK
PORK0,00%
header
Nikhil Thorat
MLflow GenAI evaluatie en monitoring bij Databricks. Medeoprichter van Lilac AI (overgenomen door @databricks). Mede-gecreëerd TensorFlow.js en Know Your Data @ Google Brain
Nikhil Thorat
Nikhil Thorat14 mrt, 00:47
🏎️ gemma-webgpu: een zero-dependency, razendsnelle Gemma 1B die volledig in je browser draait. Volledige vibe gecodeerd vanaf mijn mobiele telefoon. 🔥 136,8 tok/s op M4 Mac (3,3x sneller dan transformers.js) 📱 101 tok/s op iPhone 17 (270M), 34 tok/s (1B) Wat we vanaf nul hebben gebouwd: • 18 handgeschreven WGSL compute shaders met samengevoegde bewerkingen (fusedNormAdd bespaart 36 GPU dispatches per forward pass) • Q8_0 dequantisatie direct op GPU — hogere kwaliteit dan q4 EN sneller • Range request streaming laadt gewichten laag voor laag (~44MB chunks), uploadt naar GPU, maakt JS-geheugen onmiddellijk vrij. Piekniveau: ~50MB zelfs voor het 1GB model • Die streamingtruc is wat 1B op iPhone laat draaien. het houdt nooit het volledige model in RAM 12KB gzipped. Geen afhankelijkheden. npm install gemma-webgpu
333