Nytt papper! Tänk om du kunde garantera (med en blandning av formell verifiering och PDE-teori) att ett neuralt nätverk *alltid* skulle ge dig rätt svar, även när du gör slutsatser godtyckligt långt ifrån träningsdatan? Vi presenterar BEACONS. arXiv-länk nedan. (1/15)

På 90-talet utfördes utmärkt arbete av Mhaskar, Pinkus och andra om *kvantitativa* versioner av de hyllade universella approximationssatserna för neurala nätverk: hur exakt kan ett grunt neuralt nätverk med N dolda neuroner approximera en d-dimensionell funktion? (3/15)

Men dessa värsta fall-felgränser beror alla avgörande på hur jämn funktionen är som approximeras (dvs. värsta fall-felskalor som N^(-n/d), där n är antalet kontinuerliga derivator som funktionen har). Vilket utgör ett stort problem för extrapolering. (4/15)

Hur kan vi någonsin veta något om slätheten hos en funktion, utanför det delområde vi har tränat på? Detta är den avgörande anledningen till att man inte kan begränsa fel på neurala nätverksapproximationer av funktioner långt från träningsdatans konvexa hölje. (5/15)

Men med BEACONS – Bounded-Error, Algebraically-COmposable Neural Solvers – utnyttjar vi det faktum att funktionen vi lär oss inte är godtycklig, utan snarare lösningen till en PDE (eller ett system av PDE:er). Så vi kan tillämpa tekniker som metoden med egenskaper... (6/15)

... eller elliptiska regularitetssatser för att förutsäga *a priori* hur många kontinuerliga derivator som måste finnas, var som helst i rum eller tid, även godtyckligt långt från träningsdomänen, genom att utnyttja den analytiska strukturen hos PDE:erna själva. Därav delen "Bounded-Error". (15/7)

Men sådana rigorösa gränser kan endast bevisas för grunda neurala nätverk (med ett enda dolt lager). Tänk om vi vill bygga en djupare, mer uttrycksfull arkitektur? Det är där delen "Algebraiskt komponerbar" kommer in. Med idéer från tillämpad kategoriteori... (8/15)

... vi visar hur det är möjligt att konstruera djupare BEACONS-arkitekturer som sammansättningar av grundare, på ett sådant sätt att felgränserna förblir strikt kontrollerade. Specifikt "faktoriserar" vi vår komplicerade PDE-lösning i en sammansättning av enklare funktioner... (9/15)

... på ett sådant sätt att de stora gränserna för felen för diskontinuerliga delar av lösningen godtyckligt undertrycks av små gränser för felen för släta, långsamt varierande delar av lösningen, vilket effektivt generaliserar teorin om icke-linjära flödesbegränsare. (10/15)

Ange bara de ekvationer du vill lösa, plus de neurala nätverkshyperparametrarna för att lösa dem, och vårt ramverk genererar automatiskt högoptimerad C-kod för att träna och validera en BEACONS-arkitektur för dessa ekvationer och för att härleda nya lösningar. (12/15)

Samtidigt genererar den formella korrekthetsbevis för den underliggande klassiska lösaren, liksom för den bootstrappade neurala nätverksbaserade lösaren, med rigorösa extrapolationsgränser för värsta fallets L^oändlighetsfel för både släta och icke-släta lösningar. (13/15)

Dessa bevis representeras som symbolisk Racket-kod och är därför fullt exekverbara (och därmed maskinkontrollerbara). För en rad både linjära och icke-linjära ekvationssystem finner vi att BEACONS-arkitekturer dramatiskt överträffar traditionella neurala nätverk. (14/15)

Målet är att höja den övergripande nivån av matematisk stringens som ligger till grund för vetenskaplig ML, genom att sätta neurala nätverksbaserade metoder på samma nivå som klassiska numeriska metoder och garantera egenskaper som bevarande, konvergens, stabilitet och korrekthet. (15/15)