săptămâna trecută, Karpathy a lansat ghidul ULTIMATE pentru alergarea rapidă în LLM În acest proiect, veți construi toate elementele esențiale, toate sub 8k linii de cod > antrenează tokenizatorul - noua implementare Rust > preantrena un transformator LLM pe fineweb > evalua scorul de bază pe o mulțime de valori > Midtrain — conversii utilizator-asistent de la Smoltalk, > întrebări cu variante multiple, utilizarea uneltelor > sft, apoi evaluați modelul de chat pe: > cunoașterea lumii MCQ (arc-e/c, mmlu) > matematică (GSM8k) > cod (humaneval) > rl modelul (opțional) pe GSM8K cu "grpo" > inferență eficientă: > cache kv, preumplere/decodare rapidă > utilizare a instrumentului (interpret Python, sandbox) > acces prin CLI sau Webui de tip ChatGPT > scrie un singur raport de remarcare, > rezumarea + gamificarea întregului pipeline Modelul pe care îl veți construi: > numai rotativ (fără încorporari poziționale) > qk normă...