¡Nuevo papel! ¿Y si pudieras garantizar (usando una mezcla de verificación formal y teoría de EDP) que una red neuronal *siempre* te daría la respuesta correcta, incluso cuando se hacen inferencias arbitrariamente lejos de los datos de entrenamiento? Presentamos BEACONS. Enlace arXiv abajo. (1/15)

En los años 90, Mhaskar, Pinkus y otros realizaron un excelente trabajo sobre versiones *cuantitativas* de los celebrados Teoremas Universales de Aproximación para redes neuronales: ¿con qué precisión puede una red neuronal superficial con N neuronas ocultas aproximar una función de dimensión d? (3/15)

Pero estos límites de error en el peor caso dependen crucialmente de la suavidad de la función que se está aproximando (es decir, escalas de error en el peor caso como N^(-n/d), donde n es el número de derivadas continuas que tiene la función). Lo que presenta un gran problema para la extrapolación. (4/15)

¿Cómo podríamos saber alguna vez algo sobre la suavidad de una función, fuera del subdominio en el que hemos entrenado? Esta es la razón esencial por la que no se pueden acotar errores en aproximaciones de redes neuronales de funciones alejadas del envolvente convexo de los datos de entrenamiento. (5/15)

Pero con BEACONS —solucionadores neuronales de error limitado, algebraicamente responsables— explotamos el hecho de que la función que estamos aprendiendo no es arbitraria, sino la solución de una EDP (o sistema de EDP). Así que podemos aplicar técnicas como el método de características... (6/15)

... o teoremas de regularidad elíptica para predecir *a priori* cuántas derivadas continuas deben existir, en cualquier parte del espacio o tiempo, incluso arbitrariamente lejos del dominio de entrenamiento, explotando la estructura analítica de las propias EDPs. De ahí la parte del "Error Acotado". (15/7)

Pero tales cotas rigurosas solo son demostrables para redes neuronales superficiales (con una única capa oculta). ¿Y si queremos construir una arquitectura más profunda y expresiva? Ahí es donde entra la parte de "Algebraicamente-Componible". Utilizando ideas de la teoría aplicada de categorías... (8/15)

... mostramos cómo es posible construir arquitecturas BEACONS más profundas como composiciones de otras más superficiales, de tal manera que los límites de error permanezcan estrictamente controlados. Específicamente, "factorizamos" nuestra complicada solución de EDP en una composición de funciones más simples... (9/15)

... de tal manera que los límites grandes de los errores para las partes discontinuas de la solución se suprimen arbitrariamente por cotas pequeñas en los errores para partes suaves y de varía lenta de la solución, generalizando efectivamente la teoría de limitadores de flujo no lineales. (10/15)

Solo tienes que especificar las ecuaciones que quieres resolver, además de los hiperparámetros de la red neuronal para resolverlas, y nuestro framework genera automáticamente código C altamente optimizado para entrenar y validar una arquitectura BEACONS para esas ecuaciones, e inferir nuevas soluciones. (12/15)

Simultáneamente, genera demostraciones formales de corrección para el solucionador clásico subyacente, así como para el solucionador basado en redes neuronales bootstrapped, con límites extrapolatorios rigurosos en el peor caso L^infinity errores tanto para soluciones suaves como no suaves. (13/15)

Estas demostraciones se representan como código simbólico de la raqueta, y por tanto son totalmente ejecutables (y por tanto verificables por máquina). Para una variedad de sistemas de ecuaciones tanto lineales como no lineales, encontramos que las arquitecturas BEACONS superan de forma espectacular las redes neuronales tradicionales. (14/15)

El objetivo es elevar el nivel general de rigor matemático subyacente al aprendizaje automático científico, situando los métodos basados en redes neuronales en igualdad de condiciones con los métodos numéricos clásicos y garantizando propiedades como conservación, convergencia, estabilidad y corrección. (15/15)