Conférenciers invités

  • Yves Grandvalet (Heudiasyc — UTC, Compiègne)

Titre : Parcimonie en apprentissage

L'apprentissage statistique vise à découvrir des régularités à partir d'exemples issus de la distribution du phénomène observé. Ces régularités sont encodées dans le modèle résumant les exemples d'apprentissage. Un modèle est dit parcimonieux quand il n'utilise qu'une partie des données à disposition pour l'apprentissage. On peut choisir d'y avoir recours pour différents objectifs : (1) l'efficacité économique/calculatoire, en évitant d'avoir à produire et à traiter les informations les moins essentielles ; (2) l'interprétabilité, en mettant en avant les informations les plus saillantes pour la prédiction de la réponse ; (3) la précision de la prédiction, en introduisant un biais d'inférence favorisant les solutions basées sur peu d'explications (de variables). Mon exposé s'appuiera sur des représentations géométriques pour introduire les propriétés des pénalités induisant de la parcimonie : comment cette parcimonie est-elle encouragée, dans quelles conditions est-elle stable, et comment l'interpréter dans d'autres cadres formels.

  • Rémi Munos (INRIA, Lille)

Titre: Algorithmes "optimistes" pour l'optimisation de fonctions

Le principe de "l'optimisme dans l'incertain" a été récemment appliqué à des problèmes difficile de prise de décisions, tels que le jeu de go. L'idée est d'utiliser des algorithmes de bandit qui génèrent un bon compromis entre l'exploration (acquisition d'informations concernant le problème à résoudre) et l'exploitation (optimisation selon les connaissances actuelles) afin d'explorer de manière efficace l'espace des solutions possibles en s'adaptant automatiquement à la régularité du problème. Dans cette présentation, je décrirai l'algorithme SOO (Simultaneous Optimistic Optimization) qui vise à optimiser une fonction lorsque la régularité de cette fonction au voisinage de son maximum n'est pas connue à l'avance.

  • Hélène Paugam-Moisy (LRI - U. de Lyon)

Titre : De nouveaux paradigmes de calculs pour les réseaux de neurones: Deep Learning et Reservoir Computing

Après une décennie de succès des réseaux de neurones multicouches, suivie d'une décennie de succès des "Support Vector Machines", dans le but d'obtenir des modèles toujours plus puissants, les chercheurs se sont penchés sur deux difficultés connues : Pb1 - pourquoi la rétro-propagation fonctionne-t-elle mal lorsqu'on empile plusieurs couches cachées ? Pb2 - pourquoi est-il si difficile d'apprendre à contôler la dynamique dans les réseaux récurrents ? Une solution au Pb1 consiste à apprendre les couches les unes après les autres, de manière non-supervisée, ce qui conduit, depuis quatre ou cinq ans, au courant de recherche appelé "Deep Learning". Une solution au Pb2 consiste à laisser un réseau récurrent (le "Reservoir") s'auto-organiser, puis à apprendre à en extraire des informations, c'est le courant de recherche dénommé "Reservoir Computing". Je présenterai les principes et les avantages de ces deux nouveaux paradigmes de calcul pour les réseaux de neurones, ainsi que les nouvelles perspectives de recherche.