Wir haben gerade Covenant-72B veröffentlicht: den größten dezentralen Vortraining-Lauf aller Zeiten, mit erlaubnisfreier Teilnahme über das Internet. Besonders spannend ist es zu sehen, wie SparseLoCo so sauber auf 72B skaliert — mit >146× Kompression, Robustheit unter dynamischer Teilnahme und schlechten Akteuren sowie einer Leistung, die mit zentralisierten Baselines konkurriert, die mit größeren Token-Budgets trainiert wurden.