Так невероятно. @nsthorat — один из лучших инженеров, которых я знаю, и это невероятно, что талантливые люди могут сделать с агентами, работающими от их имени. У нас скоро будет так много классных вещей в мире.
🏎️ gemma-webgpu: нулевая зависимость, молниеносный Gemma 1B, работающий полностью в вашем браузере. Полная атмосфера, закодированная с моего мобильного телефона.
🔥 136.8 ток/с на M4 Mac (в 3.3 раза быстрее, чем transformers.js)
📱 101 ток/с на iPhone 17 (270M), 34 ток/с (1B)
Что мы построили с нуля:
• 18 написанных вручную WGSL вычислительных шейдеров с объединенными операциями (fusedNormAdd экономит 36 вызовов GPU за один проход)
• Деквантизация Q8_0 непосредственно на GPU — качество выше, чем у q4 И быстрее
• Запросы диапазона потоковой загрузки весов по слоям (~44MB куски), загрузка в GPU, немедленное освобождение памяти JS. Пиковая куча: ~50MB даже для модели 1GB
• Этот трюк со стримингом позволяет 1B работать на iPhone. Он никогда не держит полную модель в ОЗУ
12KB в сжатом виде. Никаких зависимостей. npm install gemma-webgpu
Все просто: Anthropic, как и любая компания, имеет право решать, что производить, а что нет. У правительства также есть полное право работать с ними или нет. Где это становится плохим, так это когда правительство угрожает им за то, что они не производят что-то, а где это становится безумным, так это когда правительство выполняет свои угрозы.
Представьте, если бы правительство попыталось заставить Apple добавить бэкдоры NSA ко всем своим устройствам, угрожая сделать это незаконным для всех, кто ведет бизнес с правительством, использовать mac.
Представьте, что Apple продавала компьютеры или iPad Министерству обороны и пыталась сказать Пентагону, какие миссии можно планировать на их компьютерах.