Descriptif
Ce cours est constitué de deux parties.
Il propose tout d'abord une partie méthodologique se concentrant sur deux outils centraux en restauration et édition d'images : les méthodes par patchs et les réseaux de neurones génératifs. Les méthodes par patchs reposent sur le postulat que les voisinages locaux des images numériques (les patchs) présentent des propriétés d'auto-similarité qu'il est possible d'exploiter pour améliorer la qualité des images. Les réseaux génératifs (auto-encodeurs, réseaux adversaires génératifs) permettent l'amélioration ou la synthèse d'images, à partir d'entraînements sur de grandes bases de données.
Dans une deuxième partie, le cours présente plusieurs applications issues du domaine de la photographie computationnelle, qui consiste à dépasser les limitations des appareils imageurs par des moyens algorithmiques. Les deux approches méthodologiques vues initialement seront mises en oeuvre dans ce cadre.
Les applications suivantes seront détaillées :
- Imagerie à haute gamme dynamique (HDR, High Dynamic Range)
- Déconvolution d'images
- Inpainting
Objectifs pédagogiques
Acquis d'apprentissageÀ l'issue de l'UE, l'élève sera capable de:
- Identifier un modèle d'images permettant de concevoir un algorithme de résolution d'un problème d'imagerie donné
Précisions : décrire et analyser un modèle génératif (réseaux génératifs adverses, auto-encodeurs) ou modèle variationnel permettant de résoudre un problème inverse.
- Concevoir un réseau de neurones profond pour la génération ou la restauration d'images
Précisions : faire le choix entre différentes architectures, fonctions de coût d'entraînement, méthodes d'optimisation associées et régler les paramètres d'apprentissage.
- Expliquer les principaux mécanismes régissant la perception des images et leur acquisition numérique (en imagerie conventionnelle, ou en haute dynamique)
Exemples : Identifier les éléments constitutifs d'un modèle d'acquisition numérique en vue de la résolution du problème inverse associé. Interpréter les artefacts perçus dans les résultats d'un algorithme de traitement d'images.
- Analyser la stabilité d'une méthode de restauration d'images.
Précisions : Comparer les résultats d'un algorithme de restauration en faisant varier les paramètres. Évaluer la stabilité en interprétant la décroissance de la fonction de coût associée.
Compétences de rattachement (et justification)
- BC5.1 – Modéliser mathématiquement une situation, des données, des phénomènes physiques dans le contexte du numérique; Justification : Analyse de systèmes d'acquisition d'images, et optimisation d'algorithmes de traitement d'images appliqués à la fin de la chaîne d'acquisition.
- BC5.2 – Concevoir un système de traitement de données, d’intelligence artificielle, d’apprentissage machine dans un objectif d’aide à la décision ou de recherche automatique d’information; Justification : Conception d'algorithmes de restauration d'images basés sur des modèles de réseaux de neurones profonds pour la génération et la restauration d'images.
- BC5.3 – Structurer, dimensionner un système de traitement de données, d’intelligence artificielle, d’apprentissage machine dans un objectif d’aide à la décision ou de recherche automatique d’information; Justification : Impact du choix des paramètres d'algorithmes de restauration.
Conception d'architectures de réseaux de neurones adaptés à une problématique de génération ou restauration d'images.
- BC5.4 – Tester, gérer un système de traitement de données, d’intelligence artificielle, d’apprentissage machine dans un objectif d’aide à la décision ou de recherche automatique d’information; Justification : L'UE propose plusieurs outils théoriques pour analyser la précision et la stabilité d'algorithmes de génération et de restauration d'images.
24 heures en présentiel (16 blocs ou créneaux)
50 heures de travail personnel estimé pour l’étudiant.
Diplôme(s) concerné(s)
Parcours de rattachement
Format des notes
Numérique sur 20Littérale/grade européenPour les étudiants du diplôme Diplôme d'ingénieur
Vos modalités d'acquisition :
- Rendus des travaux pratiques sur machine, dans lesquels les étudiants se forment à l'implémentation des méthodes de traitement d'images enseignées (A)
- Projet permettant de construire, tester et analyser des systèmes de traitement d'images par apprentissage profond. Évaluation du projet avec rapport, code, vidéo de présentation, et soutenance (B)
Note = 0.2 * A + 0.8 * B.
Validation pour Note >= 10.
- Crédits ECTS acquis : 2.5 ECTS
- Crédit d'UE électives acquis : 2.5
La note obtenue rentre dans le calcul de votre GPA.
Pour les étudiants du diplôme Echange international non diplomant
Vos modalités d'acquisition :
- Rendus des travaux pratiques sur machine, dans lesquels les étudiants se forment à l'implémentation des méthodes de traitement d'images enseignées (A)
- Projet permettant de construire, tester et analyser des systèmes de traitement d'images par apprentissage profond. Évaluation du projet avec rapport, code, vidéo de présentation, et soutenance (B)
Note = 0.2 * A + 0.8 * B.
Validation pour Note >= 10.
- Crédits ECTS acquis : 2.5 ECTS
La note obtenue rentre dans le calcul de votre GPA.
Programme détaillé
- Modèles génératifs: variational autoencodeurs et réseaux adversaires génératifs
- Perception visuelle
- Méthodes par patchs
- Flou
- Inpainting d'images
- Imagerie à haute dynamique
Mots clés
Perception, Modèles génératifs, Méthodes par patchs, Restauration d'Images, Imagerie à haute dynamiqueMéthodes pédagogiques
Les concepts sont présentés en cours magistral, et mis en application en TP. Les TP sont à travailler et éventuellement à compléter en autonomie pour pouvoir rendre un compte-rendu de TP après la séance.En plus du travail sur les cours et TP, le travail personnel consiste en un projet à réaliser par groupe, avec un suivi hebdomadaire par un binôme d'encadrants.