A China está muito à frente na adoção da IA. Uma escola em Pequim reaproveitou Macs antigos para rodar agentes de IA personalizados 100% localmente usando @exolabs Os Macs eram usados anteriormente em seu laboratório de estudos cinematográficos, para edição de vídeo. Eles absorveram todo o seu conjunto de dados escolares: currículos, relatórios, materiais instrucionais e objetivos de aprendizagem – então tudo está baseado em todos os dados em tempo real. Para obter respostas precisas, eles precisam de modelos fronteira, que são GRANDES – a restrição é a memória (não o FLOPS). Dispositivos Apple com memória unificada têm muita memória de alta velocidade, então empilhar delas o suficiente possibilita rodar modelos massivos. Uma grande preocupação das escolas e dos pais é a privacidade dos dados – quando alunos ou professores usam modelos na nuvem, eles estão enviando todos os seus dados em texto simples para o provedor do modelo. Mesmo que as escolas tenham políticas sobre isso, sempre existe o risco de alguém acidentalmente copiar e colar dados sensíveis no modelo – o vazamento de dados é inevitável.

Ninguém está falando @apple manter os mesmos preços para o MacBook Pro de 128GB. Não houve aumento de preço em resposta ao aumento dos preços da memória. Todo mundo fala sobre o aumento no cálculo, acelerando o preenchimento em 4 vezes. Isso é legal, mas na prática não é tão grave assim. Por quê? Porque no seu próprio computador, a maioria dos apps/ferramentas que usam LLMs vai ter altas taxas de acerto no cache kv – isso significa que, como usuário, você só experimenta preenchimento lento uma vez. O cache KV pode ser mantido no disco e carregado a 6GB/s. A maior parte do tempo em inferência de LLM é gasta na decodificação, que é limitada à largura de banda da memória. Ainda é ótimo para geração de imagens/vídeos, inferência de LLM em lote alto e ajuste fino, que são limitados por computação. Devemos ver grandes acelerações lá. A estratégia de IA da Apple são LLMs no dispositivo e, aqui, a memória é o nome do jogo, não o FLOPS. Espere o mesmo para o M5 Pro/Max Mac Mini e o M5 Ultra Mac Studio. Isso significa 512GB M5 Ultra a 10k! @tim_cook é um gênio da cadeia de suprimentos.