Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 Nu mai ghici ce model AI poate rula efectiv calculatorul tău.
Acest instrument scanează hardware-ul și îți spune exact care LLM-uri vor funcționa. O comandă.
Se numește llmfit.
Modele 497. 133 de furnizori. Verifică RAM-ul, CPU-ul și GPU-ul, apoi clasifică fiecare model după ce se potrivește.
Nu mai poți descărca un model 70B doar ca să-l privești blocat.
Iată ce face:
→ Detectează exact hardware-ul tău (NVIDIA, AMD, Intel Arc, Apple Silicon)
→ Alege cea mai bună cuantizare care se potrivește memoriei tale
→ Evaluează fiecare model după calitate, viteză, potrivire și durata contextului
→ gestionează automat configurațiile multi-GPU și arhitecturile MoE
→ se conectează la Ollama astfel încât să poți descărca instantaneu cel mai bun meci
Iată partea cea mai nebună:
Mixtral 8x7B are 46,7B parametri totali. Majoritatea uneltelor cred că ai nevoie de 24GB VRAM. Dar doar 12,9B parametri sunt activi per token. Llmfit știe asta. Cererea reală este de ~6,6GB.
Doar acea funcție deblochează modele pe care oamenii credeau că nu le pot rula.
Brew install llmfit
6.500 de stele pe GitHub. Rugină încorporată. Licență MIT.
100% Open Source.

Limită superioară
Clasament
Favorite
