A IA está começando a ir além das nuvens…
As inscrições estão abertas para o Hack #05: IA no Espaço, em colaboração com @DPhiSpace. Um hackathon que explora o que se torna possível quando a IA opera mais perto de satélites, sistemas orbitais e dados baseados no espaço.
Para desenvolvedores, pesquisadores e criadores interessados no futuro da IA no espaço.
Registre-se →
Saiba mais → 🚀
Participe da conversa →
Legendas de vídeo em tempo real no seu navegador com o modelo LFM2-VL da @LiquidAI no WebGPU.
Enviar cada quadro para um servidor nunca seria a solução. Imagine a largura de banda, latência e custo.
Inferência local. Sem custos de servidor. Infinitamente escalável.
Este é o caminho.
Em apenas 48 horas na @RunAnywhereAI, construímos o MetalRT: superando a @Apple no seu próprio jogo e entregando o MOTOR de inferência LLM MAIS RÁPIDO do mercado para Apple Silicon neste momento.
- 570 tok/s decodificação @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s decodificação @Alibaba_Qwen Qwen3-0.6B, 4-bit
- 6.6 ms tempo até o primeiro token
- 1.19× mais rápido que o próprio MLX da Apple (arquivos de modelo idênticos)
- 1.67× mais rápido que llama.cpp em média
Destruímos a Apple MLX, llama.cpp, uzu(by TryMirai) e Ollama em quatro modelos diferentes de 4-bit, incluindo o LFM2.5-1.2B otimizado para dispositivo em um único M4 Max.
Empolgado por este!