Letzte Woche habe ich einen Kurs für unsere Informatik-Studierenden über neuronale Netze begonnen. Mein Plan ist es, von den frühen Klassikern (McCulloch–Pitts, Rosenblatt) über die Entwicklungen rund um alle wegweisenden Arbeiten bis hin zu "Attention Is All You Need" zu gehen. Wir bauen unser Verständnis durch eine sehr detaillierte mathematische Analyse der Konzepte, viele numerische Experimente und praktische Erfahrungen mit jedem Begriff, den wir definieren, auf. Ich muss zugeben, dass ich nicht erwartet habe, so viel Spaß daran zu haben, mit den Gewichten der Netze zu experimentieren, die grundlegenden Prinzipien zu verinnerlichen und einfach nur zu experimentieren. Ich habe bereits die erste Reihe von Notizen und Apps für den ersten Monat der Experimente erstellt. Vorschläge und Ideen sind sehr willkommen. Ich werde meine Notizen für alle offen halten, daher bin ich neugierig, ob es Ungenauigkeiten oder offensichtliche Punkte gibt, die ich möglicherweise übersehen habe.

Seit gestern arbeite ich mit meinem Mitarbeiter Piotr Pokora an einem Problem im Zusammenhang mit Logflächen. Wir haben versucht herauszufinden, wie man den kombinatorischen Raum möglicher Konfigurationen von Linien auf einer glatten quartischen Fläche durchsucht, um die sogenannte Chern-Neigung zu maximieren. In Bezug auf die Numerik haben wir viele Beispiele gemacht, und die berühmte Fermat-Quartik x^4 + y^4 + z^4 + w^4 = 0 ist derzeit der Rekordhalter für die Neigung (= 8/3) für eine bestimmte Konfiguration von 16 Linien (siehe unser Papier). Dies war das erwartete Maximum, das wir in den letzten zwei Jahren zu übertreffen oder zu beweisen versucht haben. Heute habe ich das Problem mit der besten Version von GPT Pro unter Verwendung eines umfangreichen Prompts, der viele Details über das Problem und den vollständigen Text unseres Papiers enthielt, bearbeitet. Ich erhielt einen sehr interessanten Einblick: gemischte lineare Programmierung zu verwenden. Dieser Ansatz übertrifft brute-force Techniken, einschließlich simuliertem Annealing, bei weitem. Wir hatten es selbst nicht gesehen, doch das Modell fand diesen Einblick und erklärte, wie man effizienten Code mit SciPy schreibt. Ich erkenne jetzt, dass wir drei im Büro sind: zwei Menschen und ein agentisches System mit Fähigkeiten und erheblicher Rechenleistung. Fähigkeiten werden zunehmend wichtig, und dieses agentische System liefert erstaunliche Ergebnisse. Ich habe das Gefühl, dass ich meine Perspektive vollständig verändert habe. Ich arbeite immer noch gerne mit Menschen zusammen, aber ich delegiere tiefgehende Suchen, mutige Ideenfindung und umfassende Erkundungen an die Modelle. Es ist einfach schneller und effizienter. Und der Fortschritt ist real. Wir haben jetzt einen konkreten Weg nach vorne.

Ein lustiges Gefühl, wenn ich all meine Zwischenkonversationen mit GPT Pro und den ursprünglichen Teil meiner Arbeit eingebe und eine Stunde warte, während das Modell einen 15-seitigen detaillierten Bericht mit Lemmas, Fällen, Tabellen usw. erstellt, der meinen ursprünglichen Beweis verbessert und umstrukturiert. Ich lese diese 15 Seiten und frage mich, wer das geschrieben hat, denn die meisten Autoren können Mathematik nicht so gut schreiben. Fühle ich mich obsolet? Nein, ich fühle mich einfach ermächtigt mit dem Werkzeug, das meine Ideen so schnell formt.