Argomenti di tendenza
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

AVB
Creatore di Neural Breakdown su YT. Tutorial quotidiani #AI #DeepLearning e #ML. Lavoro diurno in MARL e LLM.
Un grande applauso a questo ragazzo per aver praticamente sostenuto l'intera ingegneria e l'immagine pubblica di Cursor in questi ultimi 2 giorni.
La gente continua a trollare, giustificato o meno, e lui continua a rispondere. Rispetto le persone dirette come lui.
Spero che Cursor lo stia pagando bene.

123
La leggendaria corsa di Dwarkesh continua...
Non sono mai stato così coinvolto in un podcast di ML da quando Lex ha portato LeCun, Schmidhuber, Benegio e Goodfellow nei lontani anni '80





Dwarkesh Patel21 mar, 00:31
L'episodio di Terence Tao.
Iniziamo con il modo assolutamente geniale e sorprendente in cui Kepler scoprì le leggi del moto planetario.
A volte le persone dicono che l'AI farà progressi particolarmente rapidi nella scoperta scientifica a causa di cicli di verifica serrati.
Ma la storia di come abbiamo scoperto la forma del nostro sistema solare mostra come il ciclo di verifica per idee corrette possa durare decenni (o addirittura millenni).
Durante questo tempo, ciò che conosciamo oggi come la teoria migliore può spesso fare previsioni peggiori (il modello di Copernico delle orbite circolari attorno al sole era in realtà meno accurato del modello geocentrico di Tolomeo).
E le ragioni per cui sopravvive a questo inferno epistemico sono una miscela di giudizio e euristiche che non comprendiamo nemmeno abbastanza bene da poter articolare, tanto meno codificare in un ciclo di RL.
Spero che ti piaccia!
0:00:00 – Kepler era un LLM ad alta temperatura
0:11:44 – Come faremmo a sapere se c'è un nuovo concetto unificante all'interno di cumuli di spazzatura AI?
0:26:10 – L'eccesso deduttivo
0:30:31 – Bias di selezione nelle scoperte AI riportate
0:46:43 – L'AI rende i documenti più ricchi e ampi, ma non più profondi
0:53:00 – Se l'AI risolve un problema, gli esseri umani possono trarne comprensione?
0:59:20 – Abbiamo bisogno di un linguaggio semi-formale per il modo in cui gli scienziati parlano realmente tra loro
1:09:48 – Come Terry usa il suo tempo
1:17:05 – Gli ibridi umani-AI domineranno la matematica per molto più tempo
Cerca il Dwarkesh Podcast su YouTube, Apple Podcasts o Spotify.
34
I prossimi video saranno incentrati sul fine-tuning degli SLM.❤️🔥
- Inizialmente volevo un video di 60 minuti che coprisse lo sviluppo del modello dopo il pre-addestramento (CPT, Midtraining, SFT, RLHF, RLVR)
- Ma ci vorrebbero mesi, quindi invece farò una mini-serie di video di circa 20 minuti.
- Unsloth in tutto con un po' di HF e Pytorch dove necessario. La parte RL utilizzerà Prime Labs.
- A parte il codice, il focus principale sarà sui dataset.
Identificare i dataset OS, prepararli, generare dataset sintetici per l'addestramento, ecc.
- Un altro aspetto importante sarà la valutazione. Impostare i sistemi per le metriche.
- Gli argomenti dei video successivi non sono ancora completamente pianificati, lo screenshot è una roadmap di base. Mi adatterò in base alle domande che ricevo da voi!
- Lavorerò sicuramente su altri video nel frattempo. Se la mia mente vaga, lo lascerò fare. Ma spero di finirlo nei prossimi 3 mesi circa.
Tutto dipende dal mio divertimento, da cosa succede nel mondo e da cosa il mio pubblico vuole interagire.
Detto ciò, il mio prossimo video sarà al 100% incentrato sul pre-addestramento continuo su dataset personalizzati.

111
Principali
Ranking
Preferiti
