Descriptif
Cours en anglais
Un grand nombre de problèmes d'apprentissage statistique (calcul d'un estimateur, d'un classifieur, etc.) se ramène à la minimisation d'une fonctionnelle, typiquement un risque empirique. Les méthodes d'optimisation sont donc au centre du volet « pratique » de l'apprentissage statistique.
Dans ce module, l'étudiant découvrira non seulement les fondements théoriques qui s'inscrivent dans le prolongement du cours d'optimisation suivi au P1, mais également différentes techniques permettant de traiter spécifiquement le cas des données massives.
Un grand nombre de problèmes d'apprentissage statistique (calcul d'un estimateur, d'un classifieur, etc.) se ramène à la minimisation d'une fonctionnelle, typiquement un risque empirique. Les méthodes d'optimisation sont donc au centre du volet « pratique » de l'apprentissage statistique.
Dans ce module, l'étudiant découvrira non seulement les fondements théoriques qui s'inscrivent dans le prolongement du cours d'optimisation suivi au P1, mais également différentes techniques permettant de traiter spécifiquement le cas des données massives.
Objectifs pédagogiques
Acquis d'apprentissageÀ l'issue de l'UE, l'élève sera capable de:
- Calculate the gradient of the loss of a generalized linear model.
- Manipulate convex inequalities in order to prove the convergence of an algorithm.
- Identify the properties of an optimization problem in order to choose an appropriate resolution method.
- Reformulate an optimization problem using Lagrangian duality
- Implement an optimization algorithm using a closed form gradient or automatic differentiation.
Compétences de rattachement (et justification)
- BC5.3 – Structurer, dimensionner un système de traitement de données, d’intelligence artificielle, d’apprentissage machine dans un objectif d’aide à la décision ou de recherche automatique d’information; Justification : Design choices have a direct impact on the type of algorithm that can be used and the computing cost associated to their resolution.
- BC1.5 – Réaliser un système complexe en mettant en œuvre les solutions technologiques nécessaires, en s’appuyant sur les ressources humaines, techniques, matérielles disponibles en faisant preuve de rigueur, d’esprit critique et d’adaptabilité; Justification : Complex systems often have many parameters that need to be set using available data. The size of these optimization problems may require dedicated solutions that are taught in this course.
- BC5.1 – Modéliser mathématiquement une situation, des données, des phénomènes physiques dans le contexte du numérique; Justification : Minimizing a fitting error is the most natural way to incorporate data within a model that uses prior knowledge.
24 heures en présentiel (16 blocs ou créneaux)
réparties en:
- Travaux Dirigés : 6
- Leçon : 9
- Contrôle de connaissance : 2
- Travaux Pratiques : 6
Diplôme(s) concerné(s)
Parcours de rattachement
Pour les étudiants du diplôme Diplôme d'ingénieur
MDI210 optimisation et analyse numérique
Format des notes
Numérique sur 20Littérale/grade européenPour les étudiants du diplôme Echange international non diplomant
Vos modalités d'acquisition :
Written test 80%
Participation in computer labs and evaluation by pairs 20%
- Crédits ECTS acquis : 2.5 ECTS
- Crédit d'UE électives acquis : 2.5
La note obtenue rentre dans le calcul de votre GPA.
Pour les étudiants du diplôme Diplôme d'ingénieur
Vos modalités d'acquisition :
Written test 80%
Participation in computer labs and evaluation by pairs 20%
- Crédits ECTS acquis : 2.5 ECTS
- Crédit d'UE électives acquis : 2.5
La note obtenue rentre dans le calcul de votre GPA.
Programme détaillé
Mots clés
convergence proofs; implementation of optimization algorithms; stochastic gradient descent; Lagrangian dualityMéthodes pédagogiques
Main concepts are presented as a lecture and students apply them in tutorial sessions. Optimization algorithms are implemented during computer labs. Computer labs are evaluated by pairs.Ressources : lecture notes, corrected exercises, video lectures
Support pédagogique multimédia
