Нова газета! А що, якби ви могли гарантувати (використовуючи поєднання формальної верифікації та теорії PDE), що нейронна мережа *завжди* дасть правильну відповідь, навіть якщо робити висновки на довільній відстані від навчальних даних? Знайомляться з BEACONS. посилання arXiv нижче. (1/15)

У 90-х роках Мхаскар, Пінкус та інші виконали чудову роботу над *кількісними* версіями відомих теорем про універсальне наближення для нейронних мереж: наскільки точно мілка нейронна мережа з N прихованими нейронами може наближати d-вимірну функцію? (3/15)

Але ці межі похибки в найгіршому випадку критично залежать від гладкості апроксимації функції (тобто масштаби похибки в найгіршому випадку, такі як N^(-n/d), де n — кількість неперервних похідних, які має функція). Що створює серйозну проблему для екстраполяції. (4/15)

Як ми можемо знати щось про гладкість функції, окрім піддомену, на якому ми навчалися? Ось чому не можна обмежувати помилки на нейронних мережевих апроксимаціях функцій далеко від опуклої оболонки навчальних даних. (5/15)

Але з BEACONS — Bounded-Error, Algebraically-COmposable Neural Solvers — ми використовуємо той факт, що функція, яку ми вивчаємо, не є довільною, а є розв'язком PDE (або системи PDE). Тож ми можемо застосувати такі техніки, як метод характеристик... (6/15)

... або еліптичні теореми про регулярність, щоб прогнозувати *апріорі*, скільки неперервних похідних має існувати будь-де в просторі чи часі, навіть довольно далеко від тренувальної області, експлуатуючи аналітичну структуру самих ПДЕ. Звідси й частина «Обмежена помилка». (15.07)

Але такі суворі межі можна довести лише для поверхневих нейронних мереж (з одним прихованим шаром). А що, якщо ми хочемо побудувати глибшу, більш виразну архітектуру? Ось тут і вступає в гру частина «алгебраїчно-композитивна». Використовуючи ідеї прикладної теорії категорій... (8/15)

... ми показуємо, як можливо будувати глибші архітектури BEACON як композиції мілких архітектур, таким чином, щоб межі похибки залишалися суворо контрольованими. Зокрема, ми «факторизуємо» наше складне розв'язання ПДЕ у композицію простіших функцій... (9/15)

... таким чином, що великі межі помилок для розривних частин розв'язку довільно пригнічуються малими межами похибок для гладких, повільно змінюваних частин розв'язку, фактично узагальнюючи теорію нелінійних обмежувачів потоку. (10/15)

Просто вкажіть рівняння, які хочете розв'язати, плюс гіперпараметри нейронної мережі для їх розв'язання, і наш фреймворк автоматично генерує високооптимізований код на C для навчання та перевірки архітектури BEACONS для цих рівнянь, а також для виведення нових рішень. (12/15)

Одночасно він генерує формальні докази коректності для класичного розв'язувача, а також для завантаженого нейронного мережевого розв'язувача, з суворими екстраполюючими межами для найгірших випадків L^infinity помилок як для гладких, так і для негладких розв'язків. (13/15)

Ці докази представлені як символічний код Racket, і тому є повністю виконуваними (а отже, і машинно-перевіряними). Для різноманітних як лінійних, так і нелінійних рівнянь ми бачимо, що архітектури BEACON значно перевершують традиційні нейронні мережі. (14/15)

Мета полягає в тому, щоб підвищити загальний рівень математичної строгості, що лежить в основі наукового ML, поставити методи на основі нейронних мереж на рівні з класичними чисельними методами та гарантувати такі властивості, як збереження, збіжність, стабільність і коректність. (15/15)