Accueil > Avis d'Expert > Le monde face à l'Intelligence Artificielle...
www.ia-info.fr - 2023 - Le portail d'informations dédié à l'intelligences Artificielle.
Crédit Photo Pexels - Google DeepMind
Suite à la réussite de ChatGPT, des entreprises et des laboratoires d'intelligence artificielle à travers le monde se sont lancés dans une course effrénée pour développer des réseaux de neurones de plus en plus étendus.
Les chatbots IA s'appuient principalement sur ce que l'on appelle les "LLM" (Larges Modèles de Langage). Cependant, les modèles de deep learning les plus imposants exigent une puissance de calcul et une capacité mémoire qui dépassent les capacités de certaines applications.
C'est pourquoi de nombreux chercheurs tentent de trouver des alternatives. Et maintenant, le laboratoire d'intelligence artificielle du MIT a conçu une nouvelle architecture de deep learning très prometteuse : les réseaux de neurones liquides.
Cette innovation propose une solution compacte, adaptable et efficace pour résoudre divers problèmes en intelligence artificielle, en surmontant les limitations des modèles d'apprentissage profond plus traditionnels.
Grâce à ces réseaux de neurones novateurs, une nouvelle ère d'innovation s'apprête à révolutionner le domaine de l'intelligence artificielle. Il s'agit d'une invention potentiellement révolutionnaire, particulièrement pour des secteurs tels que la robotique et les véhicules autonomes...
Selon Daniel Rus, directrice du CSAIL du MIT, l'inspiration derrière les réseaux de neurones liquides consiste à revoir les approches classiques du machine learning et à les adapter aux exigences de sécurité des robots et des appareils edge (périphériques informatiques).
Par exemple, il est difficile d'exécuter de vastes modèles de langage sur un robot, car ils nécessitent une puissance de calcul et un espace de stockage considérables, ce qui n'est souvent pas réalisable sur ces appareils.
Ainsi, Rus et son équipe ont cherché à créer des réseaux de neurones précis et efficaces pouvant fonctionner sur les ordinateurs embarqués de robots sans dépendre d'une connexion au cloud.
De plus, leur inspiration provient également de la recherche sur les neurones biologiques, en particulier ceux de petits organismes comme le ver C. Elegans. Ce ver est capable d'accomplir des tâches complexes avec seulement 302 neurones, ce qui a stimulé la réflexion sur la création de réseaux de neurones plus efficaces et compacts.
Après de longs mois de recherche, le CSAIL a réussi à développer les réseaux de neurones liquides. Ils se distinguent considérablement des modèles de deep learning traditionnels, en utilisant une formule mathématique qui nécessite moins de puissance de calcul et qui stabilise les neurones pendant l'entraînement.
Leur efficacité repose sur l'utilisation d'équations différentielles ajustables de manière dynamique. Cette caractéristique leur permet de s'adapter à de nouvelles situations après l'entraînement, une capacité qui fait défaut aux réseaux neuronaux classiques.
Pour simplifier, selon Daniel Rus, "ce que nous faisons, c'est augmenter la capacité d'apprentissage de représentation d'un neurone de deux manières par rapport aux modèles existants".
La première manière implique un "modèle d'espace d'états" qui accroît la stabilité des neurones pendant l'apprentissage. Ensuite, des non-linéarités sont introduites sur les entrées synaptiques pour améliorer l'expressivité du modèle durant la phase d'entraînement et d'inférence.
En outre, les réseaux de neurones liquides utilisent une architecture de câblage différente de celle des réseaux traditionnels, permettant des connexions latérales et récurrentes au sein de la même couche.
Les équations mathématiques sous-jacentes et cette nouvelle architecture câblée confèrent aux réseaux de neurones liquides la capacité d'apprendre des modèles en temps continu tout en adaptant dynamiquement leur comportement. Ce modèle se révèle très intéressant car il peut s'ajuster de manière dynamique en fonction des entrées qu'il reçoit. De plus, les constantes de temps qu'il observe dépendent des entrées perçues, ce qui garantit davantage de flexibilité et d'adaptabilité grâce à cette formulation neuronale.
L'un des principaux atouts des réseaux de neurones liquides réside dans leur compacité. Par exemple, un réseau de neurones profonds classique nécessite environ 100 000 neurones artificiels et demi-million de paramètres pour accomplir une tâche telle que maintenir une voiture sur sa voie.
En revanche, les chercheurs du CSAIL ont réussi à entraîner un réseau de neurones liquides à accomplir la même tâche avec seulement 19 neurones.
Cette réduction significative de la taille a plusieurs avantages importants. Tout d'abord, elle permet au modèle de fonctionner efficacement sur les petits ordinateurs embarqués des robots et autres appareils edge.
De plus, grâce au nombre limité de neurones, le réseau devient beaucoup plus interprétable. L'interprétabilité est un défi majeur dans le domaine de l'IA. Jusqu'à présent, il était souvent difficile de comprendre comment un modèle de deep learning avait pris une décision spécifique.
Avec seulement 19 neurones, il est possible d'extraire l'arbre de décision correspondant aux schémas et aux processus décisionnels, ce qui n'est généralement pas possible avec 100 000 neurones ou plus.
Un autre obstacle surmonté par les réseaux de neurones liquides concerne la causalité. Les systèmes de deep learning traditionnels ont souvent du mal à comprendre les relations de cause à effet, ce qui les conduit parfois à apprendre des modèles qui ne sont pas liés aux problèmes qu'ils tentent de résoudre.
Les réseaux de neurones liquides semblent avoir une meilleure compréhension des relations causales, ce qui leur permet de généraliser à des situations inédites.
Les chercheurs du CSAIL ont entraîné des LNN ainsi que plusieurs autres types de modèles de deep learning à la détection d'objets dans des flux vidéo capturés en forêt pendant l'été.
Lorsque le LNN entraîné a été testé dans des situations différentes, telles qu'un paysage d'automne ou d'hiver, il a conservé un haut niveau de précision. En revanche, les autres types de réseaux de neurones ont connu une chute importante de leurs performances.
En effet, les réseaux liquides se concentrent sur la tâche elle-même, plutôt que sur le contexte. Les autres modèles dépendent excessivement de l'analyse du contexte de test, au détriment de la tâche elle-même.
Les cartes d'attention générées par les modèles montrent que les LNN accordent une plus grande importance à l'élément principal de la tâche, comme la route dans le cas de la conduite ou les objets dans le cas de la détection d'objets.
C'est pourquoi ils peuvent s'adapter à la tâche lorsque le contexte change. En revanche, les autres modèles dispersent leur attention sur des éléments non pertinents de l'entrée.
Ainsi, les réseaux de neurones liquides se révèlent plus adaptables, car ils peuvent être entraînés dans un environnement spécifique, puis la solution peut être ajustée pour être utilisée dans d'autres environnements.
Ces réseaux de neurones liquides sont particulièrement adaptés aux flux de données continus, tels que les flux vidéo, audio ou les séquences de mesures de température. Ils nécessitent des séquences de données en série temporelle pour fonctionner correctement et ne sont pas appropriés pour les bases de données statiques telles qu'ImageNet.
Les caractéristiques uniques des LNN les rendent particulièrement adaptés aux applications exigeantes en termes de puissance de calcul ou nécessitant une sécurité robuste, telles que la robotique ou les véhicules autonomes, où les données sont continuellement utilisées pour alimenter les modèles d'apprentissage automatique.
L'équipe du MIT a déjà réalisé des tests prometteurs avec un seul robot utilisant les LNN. À l'avenir, ils prévoient d'étendre leurs tests à des systèmes multi-robots et d'autres types de données pour explorer davantage les capacités et les limites de ces réseaux de neurones liquides novateurs.
Abonnez-vous pour recevoir toute notre actualité.
