RIP Chain of Thought. Ho appena testato il prompting Skeleton of Thought e sta riducendo la latenza di risposta della metà nei compiti strutturati, migliorando al contempo la qualità dell'output. Un articolo ha cambiato il modo in cui penso alla generazione di testo AI. CoT costringe il modello a pensare e scrivere simultaneamente. Il Punto 1 deve finire prima che inizi il Punto 2. Il Punto 2 prima del Punto 3. Ogni token bloccato dal token precedente. Gli esperti non lavorano in questo modo. Un consulente di McKinsey delinea prima ogni sezione, poi sviluppa ciascuna in modo indipendente. Un professore schematizza gli argomenti, poi li riempie. SoT corrisponde a questo. Fase 1 - Scheletro: Il modello scrive un semplice schema di ogni punto. Nessuna elaborazione. Solo struttura. Fase 2 - Riempimento Parallelo: Ogni punto scheletrico si espande in modo indipendente. Il Punto 3 non aspetta il Punto 2. Un ramo sbagliato non rallenta ogni ramo successivo. Il prompt esatto: "Prima, scrivi uno scheletro conciso della tua risposta come un elenco di punti chiave. Poi, espandi ogni punto in modo indipendente e completo. Formato: [Scheletro] seguito da [Punto 1], [Punto 2], ecc." Dove SoT domina: → Guide pratiche e tutorial → Listicle e analisi classificate...