O Kimi K2.5 da Moonshot AI é o modelo de pesos abertos nº 2 e agora está disponível em 8 fornecedores, cada um com preços e desempenhos diferentes. O Kimi K2.5 da @Kimi_Moonshot é um dos principais modelos de pesos abertos, com uma pontuação de 47 no Índice de Inteligência de Análise Artificial, e seu forte uso de codificação e ferramentas torna-o um modelo popular para ser utilizado como agente de codificação. Estamos avaliando os endpoints do modelo K2.5 de 8 fornecedores de API, com velocidades de tokens de saída variando em ~330 tokens/s entre os fornecedores mais rápidos e mais lentos - tornando a escolha do fornecedor um fator importante. Principais conclusões da avaliação: ➤ ⚡ Velocidade: @basetenco oferece o endpoint Kimi K2.5 mais rápido a 344 tokens de saída por segundo, seguido por @FireworksAI_HQ (273 t/s) e @novita_labs (52 t/s) ➤ ⏳ Latência: Acompanhamos o TTFT (tempo até o primeiro token) e o TTFAT (tempo até o primeiro token de resposta). Para modelos de raciocínio, o TTFAT é a métrica chave, pois marca quando os usuários veem pela primeira vez uma saída utilizável. A Baseten lidera no TTFAT com 6.5s, à frente da Fireworks (7.7s) e da Novita AI (39.4s). Para TTFT, a Fireworks AI lidera com 0.36s, seguida por @togethercompute (0.49s) e Baseten (0.72s) ➤ 💲 Preços: @DeepInfra é o fornecedor de Kimi K2.5 com o custo mais baixo, com preços de $0.45/M tokens de entrada e $2.25/M tokens de saída, 25% mais barato do que os fornecedores mais caros. ➤ 🪟 Janela de contexto: Todos os fornecedores suportam a janela de contexto completa de 256k tokens, exceto a Baseten, que suporta uma janela de contexto de 231k. ➤ 🖼️ Multimodalidade: 7 dos 8 fornecedores suportam a capacidade nativa de entrada multimodal do Kimi K2.5, com a Baseten suportando apenas entrada de texto. ➤ 🧰 Ferramentas suportadas: A chamada de ferramentas e o modo JSON são suportados por todos os 8 fornecedores.

Nós comparamos o TTFT (tempo até o primeiro token) e o TTFAT (tempo até o primeiro token de resposta), sendo o TTFAT a métrica principal para modelos de raciocínio. A Baseten lidera com 6,5s de TTFAT, enquanto a Fireworks AI lidera o TTFT com 0,36s.

Compare fornecedores para Kimi K2.5 (Raciocínio) em