Model Kimi K2.5 od Moonshot AI to model o otwartych wagach nr 2, dostępny teraz u 8 dostawców, z różnymi cenami i wydajnością Kimi K2.5 od @Kimi_Moonshot to jeden z wiodących modeli o otwartych wagach, zdobywający 47 punktów w Indeksie Sztucznej Analizy Inteligencji, a jego silne umiejętności kodowania i użycia narzędzi sprawiają, że jest popularnym modelem do wykorzystania jako agent kodujący. Testujemy punkty końcowe modelu K2.5 od 8 dostawców API, z prędkościami tokenów wyjściowych różniącymi się o ~330 tokenów/s między najszybszymi a najwolniejszymi dostawcami - co czyni wybór dostawcy ważnym czynnikiem. Kluczowe wnioski z benchmarków: ➤ ⚡ Prędkość: @basetenco oferuje najszybszy punkt końcowy Kimi K2.5 z prędkością 344 tokenów wyjściowych na sekundę, następnie @FireworksAI_HQ (273 t/s) i @novita_labs (52 t/s) ➤ ⏳ Opóźnienie: Śledzimy TTFT (czas do pierwszego tokena) i TTFAT (czas do pierwszego tokena odpowiedzi). Dla modeli rozumowania, TTFAT jest kluczowym wskaźnikiem, ponieważ oznacza moment, w którym użytkownicy po raz pierwszy widzą użyteczny wynik. Baseten prowadzi w TTFAT z czasem 6.5s, wyprzedzając Fireworks (7.7s) i Novita AI (39.4s). W przypadku TTFT, Fireworks AI prowadzi z czasem 0.36s, następnie @togethercompute (0.49s) i Baseten (0.72s) ➤ 💲 Ceny: @DeepInfra jest najtańszym dostawcą Kimi K2.5, z ceną $0.45/M tokenów wejściowych i $2.25/M tokenów wyjściowych, o 25% tańszym niż najdrożsi dostawcy ➤ 🪟 Okno kontekstowe: Wszyscy dostawcy obsługują pełne okno kontekstowe 256k tokenów, z wyjątkiem Baseten, który obsługuje okno kontekstowe 231k tokenów ➤ 🖼️ Multimodalność: 7 z 8 dostawców obsługuje natywną zdolność wejściową multimodalności Kimi K2.5, przy czym Baseten obsługuje tylko wejście tekstowe ➤ 🧰 Obsługiwane narzędzia: Wywoływanie narzędzi i tryb JSON są obsługiwane przez wszystkich 8 dostawców

Porównujemy TTFT (czas do pierwszego tokena) i TTFAT (czas do pierwszego tokena odpowiedzi), przy czym TTFAT jest główną miarą dla modeli rozumowania. Baseten prowadzi z czasem TTFAT wynoszącym 6,5 s, podczas gdy Fireworks AI prowadzi w TTFT z czasem 0,36 s.

Porównaj dostawców dla Kimi K2.5 (Rozumowanie) w