Como ejemplo de estas dos caracter\u00edsticas intr\u00ednsecas de las matem\u00e1ticas, en este art\u00edculo describiremos algunas de las pasarelas que unen dos de sus ramas: la teor\u00eda de control y el aprendizaje autom\u00e1tico (AA). Como vamos a ver, estas \u00e1reas, ambas de gran impacto tecnol\u00f3gico, constituyen valles vecinos en el complejo paisaje del universo matem\u00e1tico. En particular, la teor\u00eda del control forma parte indiscutible y relevante de los cimientos del AA.<\/p>\n
Arist\u00f3teles<\/a> se anticip\u00f3 cuando apunt\u00f3 a la necesidad de que los procesos se automatizaran para liberar a los seres humanos de sus tareas m\u00e1s pesadas, [3]. Dos milenios m\u00e1s tarde, en la d\u00e9cada de 1940, el matem\u00e1tico y fil\u00f3sofo Norbert Wiener<\/a> redefini\u00f3 el t\u00e9rmino “cibern\u00e9tica” -que anteriormente hab\u00eda acu\u00f1ado Andr\u00e9-Marie Amp\u00e8re<\/a>– como “la ciencia de la comunicaci\u00f3n y el control en animales y m\u00e1quinas”.<\/p>\n La definici\u00f3n de Wiener refleja la contribuci\u00f3n definitiva realizada por la disciplina del control \/ cibern\u00e9tica a la revoluci\u00f3n industrial e involucra dos binomios conceptuales esenciales. El primero es el de \u201ccontrol-comunicaci\u00f3n\u201d, subrayando la necesidad de informaci\u00f3n suficiente y de calidad sobre el estado de un sistema para tomar las decisiones correctas, alcanzar un objetivo determinado o evitar que el sistema entre en reg\u00edmenes de riesgo. El segundo binomio es el de \u201canimal-m\u00e1quina\u201d que refleja el empe\u00f1o humano, predicho por Arist\u00f3teles, de construir m\u00e1quinas que realicen tareas que, de otro modo, les impedir\u00edan dedicar tiempo y energ\u00eda a otras m\u00e1s satisfactorias.<\/p>\n Por otra parte, el desarrollo de m\u00e1quinas que \u201caprendan\u201d es el objetivo principal del aprendizaje autom\u00e1tico. El estrecho v\u00ednculo entre el control y\/o la cibern\u00e9tica y la AA se establece por tanto en la propia definici\u00f3n de Wiener.<\/p>\n Las distintas disciplinas matem\u00e1ticas est\u00e1n divididas por cordilleras conceptuales y t\u00e9cnicas y a menudo han evolucionado en comunidades diferentes. Como tales, a menudo las interconexiones son dif\u00edciles de observar. Construir los caminos de conexi\u00f3n e identificar los hipot\u00e9ticos pasos de monta\u00f1a requiere un importante nivel de abstracci\u00f3n. Demos por tanto un paso atr\u00e1s y adoptemos una perspectiva m\u00e1s amplia para analizar con m\u00e1s detalle los v\u00ednculos existentes entre el control y el AA.<\/p>\n La noci\u00f3n de controlabilidad nos ayuda a desvelar una de las pasarelas entre estas dos disciplinas. El problema de la controlabilidad consiste en conducir un sistema din\u00e1mico desde una configuraci\u00f3n inicial a otra final en un horizonte temporal determinado mediante controles viables y h\u00e1bilmente dise\u00f1ados. En el marco de los sistemas lineales de dimensi\u00f3n finita<\/p>\n la respuesta es elemental y cl\u00e1sica (se remonta al trabajo de Rudolf Kalman<\/a> en la d\u00e9cada de 1950, al menos), [6]. El sistema es controlable si y s\u00f3lo si la matriz que gobierna la din\u00e1mica del sistema y la que describe los efectos de los controles sobre los distintos componentes del estado verifican la c\u00e9lebre condici\u00f3n de rango<\/p>\n El tama\u00f1o del control depende naturalmente de la longitud del horizonte temporal; m\u00e1s grande horizontes temporales cortos y de menor \u00a0amplitud para horizontes m\u00e1s largos.<\/p>\n Figura 1. Control simult\u00e1neo de trayectorias de una ecuaci\u00f3n diferencial ordinaria neuronal (NODE) para la clasificaci\u00f3n \u00bfSon estas ideas y m\u00e9todos relevantes para el AA? Empecemos analizando el resultado seminal de George Cybenko<\/a>: el llamado teorema de aproximaci\u00f3n universal (TAU). El TAU afirma que una combinaci\u00f3n finita de funciones de activaci\u00f3n reescaladas y desplazadas (es decir, redes neuronales) de la forma\u00a0 son densas en una variedad de espacios funcionales [1]. Este resultado del an\u00e1lisis funcional complementa otros resultados fundamentales del an\u00e1lisis, como la densidad de polinomios, series de Fourier<\/a> y funciones suaves con soporte compacto.<\/p>\n Figura 2. Movimiento can\u00f3nico iterativo que conduce a la clasificaci\u00f3n por inducci\u00f3n con controles de conmutaci\u00f3n, constantes a trozos (Dom\u00e8nec Ru\u00edz-Balet, Imperial College, Reino Unido).<\/p><\/div>\n El TAU sirve para fines de regresi\u00f3n y clasificaci\u00f3n en el contexto del aprendizaje supervisado (AS). A grandes rasgos, podemos clasificar cualquier conjunto de datos simplemente aproximando la funci\u00f3n caracter\u00edstica -que toma valor 1 en un conjunto de elementos y 0 en el complementario- para, en \u00faltima instancia, asignar la etiqueta correcta a cada elemento.<\/p>\n El hermoso resultado de Cybenko, demostrado empleando el teorema de Hahn-Banach<\/a>, abri\u00f3 la puerta a una serie de m\u00e9todos que ahora desempe\u00f1an un papel esencial en el AA. En la pr\u00e1ctica, dado que el TAU garantiza la consecuci\u00f3n de todos los objetivos simplemente identificando los par\u00e1metros correctos en el ansatz de Cybenko, podemos adoptar el punto de vista de los m\u00ednimos cuadrados y buscar los valores de los par\u00e1metros que minimicen la distancia a la funci\u00f3n necesaria durante la llamada fase de entrenamiento. Por supuesto, un enfoque tan ingenuo y natural conlleva grandes retos – \u00a1debemos enfrentarnos simult\u00e1neamente al diablo de la falta de convexidad y a la maldici\u00f3n de la dimensionalidad!<\/p>\n Eduardo Sontag<\/a> y H\u00e9ctor Sussmann<\/a> exploraron el potencial de combinar de la teor\u00eda del control con el TAU, un esfuerzo retomado recientemente por la comunidad matem\u00e1tica, [2, 9]. El ansatz neural conduce ecuaciones diferenciales ordinarias neuronales (EDON)<\/p>\n que se controlan mediante funciones de activaci\u00f3n, como las funciones sigmoidales (funciones continuas mon\u00f3tonas que toman valor 0 en – y 1 en +$). Cybenko introdujo estas funciones, bastante at\u00edpicas en mec\u00e1nica, con fines de aproximaci\u00f3n.<\/p>\n La comunidad del control matem\u00e1tico tard\u00f3 muchos a\u00f1os en comprender c\u00f3mo aplicar los m\u00e9todos de control a los retos reales de la AS. Trabajos recientes han demostrado por fin que las redes neuronales residuales profundas (ResNets) -discretizaciones temporales de ODENs- proporcionan la asombrosa e inesperada propiedad del control simult\u00e1neo [8]. Podemos construir controles (es decir, entrenar par\u00e1metros) de tal forma que un n\u00famero arbitrariamente grande de trayectorias lleguen simult\u00e1neamente de forma casi exacta a sus objetivos: las etiquetas que corresponden a los elementos del conjunto de datos a clasificar (v\u00e9ase la Figura 1).<\/p>\n Figura 3. Movimiento generado por un sistema de control lineal. Todos los puntos se mueven simult\u00e1neamente sin posibilidad de clasificaci\u00f3n seg\u00fan sus etiquetas (Daniel Veldman, FAU, Erlangen, Alemania).<\/p><\/div>\n Esta perspectiva de sistemas din\u00e1micos presenta algunas ventajas interesantes al ofrecer una mejor dependencia de los datos disponibles y la oportunidad de afinar los m\u00e9todos de clasificaci\u00f3n para mejorar las propiedades de estabilidad. Tambi\u00e9n puede explotar muchos de los conocimientos existentes en \u00e1reas m\u00e1s maduras de las matem\u00e1ticas aplicadas. De hecho, la propia naturaleza de la funci\u00f3n de activaci\u00f3n es responsable de la propiedad excepcionalmente potente de control simult\u00e1neo que garantiza los requisitos de AS. El ejemplo m\u00e1s paradigm\u00e1tico es la funci\u00f3n de activaci\u00f3n de la Unidad Lineal Rectificada (ReLU), que simplemente toma el valor 0 cuando x< 0 y 1 cuando x> 0. Cuando se controla mediante la ReLU, una ODEN se comporta como un cubo de Rubik: se puede resolver mediante un n\u00famero finito de operaciones inteligentes mediante las cuales parte del cubo se congela mientras la otra gira en la direcci\u00f3n y sentido adecuados. El objetivo de un cubo de Rubik es garantizar que todas las caras tengan un color homog\u00e9neo. Este objetivo es similar a la tarea realizada por una ODEN, que conduce cada elemento inicial a un determinado dep\u00f3sito distinguido seg\u00fan su etiqueta.<\/p>\n Las pruebas de las que disponemos actualmente son inductivas, mediante \u00a0controles (o par\u00e1metros) constantes a trozos que permiten explotar la esencia del ReLU [8]. En cada instante de tiempo, la ReLU divide el espacio euclidiano en dos semiespacios: (i) uno que se congela a lo largo de la din\u00e1mica porque la no linealidad se anula y (ii) otro que evoluciona exponencialmente, en el que la ReLU est\u00e1 activa. Una elecci\u00f3n estrat\u00e9gica e inductiva de los distintos hiperplanos\/ecuadores (mediante la selecci\u00f3n de los valores de los controles\/par\u00e1metros) y de la direcci\u00f3n de la din\u00e1mica\/viento (mediante el control) garantiza la clasificaci\u00f3n en un n\u00famero finito de pasos (v\u00e9ase la Figura 2).<\/p>\n Estos resultados proporcionan la teor\u00eda de base necesaria para garantizar que las ODENs cumplen las propiedades de controlabilidad simult\u00e1nea que conducen a la clasificaci\u00f3n. Por supuesto, los controles que observamos en las simulaciones num\u00e9ricas suelen ser menos complejos, ya que se calculan como minimizadores de un funcional de coste convenientemente penalizado.<\/p>\n Conviene subrayar que estos resultados se basan fundamentalmente en la Los resultados de control aqu\u00ed presentados para ResNets y ODENs pueden trasladarse al marco de las ecuaciones de transporte (advecci\u00f3n, convecci\u00f3n, etc.) mediante el principio cl\u00e1sico de que las trayectorias de las primeras ecuaciones constituyen las caracter\u00edsticas de las segundas:<\/p>\n La aproximaci\u00f3n de las distribuciones de masa a transportar mediante medidas at\u00f3micas -cuyos soportes desempe\u00f1an el papel de elementos puntuales en la clasificaci\u00f3n- facilita esa transmutaci\u00f3n.<\/p>\n De este modo el control y el AA tambi\u00e9n se unen en el problema tradicional del transporte de masas, aunque no exactamente de la misma manera que en el transporte \u00f3ptimo o en el problema de Monge-Kantorovich, sino mediante campos vectoriales dependientes del tiempo con la geometr\u00eda sobresimplificada que impone la funci\u00f3n de activaci\u00f3n.<\/p>\n Mis colegas y yo no somos los primeros investigadores en reivindicar las estrechas conexiones entre el control y el AA, [4, 7]. Pero ahora que llevamos varios a\u00f1os trabajando en este tema, nos damos cuenta de que a\u00fan queda mucho por descubrir en el vasto bosque que conecta estas dos \u00e1reas. A\u00f1adir detalles adicionales a esta \u00edntima conexi\u00f3n constituir\u00e1 una aportaci\u00f3n que merece la pena al fascinante mapa global de las ciencias matem\u00e1ticas.<\/p>\n Es probable que nuestra avance en la comprensi\u00f3n de estos temas siga una trayectoria en zigzag que se asemeje a las estrategias para resolver un cubo de Rubik o a las trayectorias que aseguran que las ResNets son capaces de aprender.<\/p>\n![\"\"](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Formula_1.png\")
<\/p>\n![\"\"](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Formula_2.png\")
<\/p>\n![\"Figura](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Pic_1.png\")
seg\u00fan dos etiquetas diferentes (azul\/rojo), exhibiendo la naturaleza de giro de las trayectorias. Figura cortes\u00eda de [5].<\/p><\/div>De hecho, tal y como anticip\u00f3 John von Neumann<\/a> y analiz\u00f3 el Premio Nobel de Econom\u00eda Paul Samuelson<\/a>, la propiedad “turnpike” se manifiesta en horizontes temporales largos; los controles tienden a pasar la mayor parte del tiempo en la configuraci\u00f3n \u00f3ptima de estado estacionario [5]. Aplicamos este principio poco conocido de forma sistem\u00e1tica (y a menudo inconsciente) en nuestra vida cotidiana. Por ejemplo, cuando vamos al trabajo, nos apresuramos a tomar nuestra bicicleta o transporte p\u00fablico -nuestra autopista en este viaje- y esperamos a llegar a nuestro destino. Las terapias m\u00e9dicas para enfermedades cr\u00f3nicas tambi\u00e9n utilizan este principio; los m\u00e9dicos pueden indicar a los pacientes, por ejemplo, que tomen una pastilla al d\u00eda regularmente despu\u00e9s del desayuno, en lugar de proponer una medicaci\u00f3n variable cada d\u00eda, que tal vez podr\u00eda ser algo m\u00e1s eficaz, pero sin duda mucho m\u00e1s dif\u00edcil de seguir. Esta propiedad surge incluso en el campo de la econom\u00eda, cuando los bancos nacionales fijan los tipos de inter\u00e9s en horizontes de seis meses y s\u00f3lo revisan para ajustarlos peri\u00f3dicamente a los nuevos escenarios macroecon\u00f3micos que van surgiendo.<\/p>\n![\"\"](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Formula_3.png\")
<\/p>\n![\"Figura](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Pic_2.png\")
![\"\"](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Formula_4.png\")
<\/p>\n![\"Figura](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Pic_4.png\")
\nno linealidad de las funciones de activaci\u00f3n. De hecho, la propiedad de controlabilidad del conjunto es imposible para un sistema lineal que m\u00e1s bien se comportar\u00eda como el sistema de la Figura 3, incapaz de clasificar los elementos seg\u00fan las etiquetas.<\/p>\n![\"\"](\"https:\/\/cmc.deusto.eus\/enzuazua\/wp-content\/uploads\/2023\/05\/Formula_5.png\")
<\/p>\n