🚨 Lopeta arvailu, mitä tekoälymallia tietokoneesi oikeasti pystyy käyttämään. Tämä työkalu skannaa laitteistosi ja kertoo tarkalleen, mitkä LLM:t toimivat. Yksi käsky. Sitä kutsutaan llmfitiksi. 497-mallit. 133 palveluntarjoajaa. Se tarkistaa RAM-muistisi, suorittimesi ja näytönohjaimesi, ja järjestelee jokaisen mallin sen mukaan, mikä sopii sinulle. Ei enää 70B-mallin lataamista vain katsomaan kaatumista. Tässä mitä se tekee: → Tunnistaa tarkan laitteistosi (NVIDIA, AMD, Intel Arc, Apple Silicon) → Valitsee parhaan kvantisoinnin, joka sopii muistiisi → Arvioi jokaisen mallin laadun, nopeuden, istuvuuden ja kontekstin pituuden perusteella → Käsittelee moni-GPU-asetuksia ja MoE-arkkitehtuureja automaattisesti → Yhdistyy Ollamaan, joten voit ladata parhaan ottelun välittömästi Tässä on villein osa: Mixtral 8x7B:llä on yhteensä 46,7B parametreja. Useimmat työkalut luulevat, että tarvitset 24GB VRAM-muistia. Mutta vain 12,9 miljardia parametria on aktiivinen per token. Llmfit tietää tämän. Se arvioi todellisen vaatimuksen ~6,6GB. Pelkkä tuo ominaisuus avaa malleja, joita ihmiset eivät uskoneet pystyvänsä käyttämään. Brew install llmfit 6,5 000 GitHub-tähteä. Rakennettu ruosteessa. MIT-lisenssi. 100 % avoimen lähdekoodin.