Descriptif
- Enseignants : Geoffroy Peeters, Stéphane Lathuilière (Telecom Paris, IP-Paris)
- Abstract : Le Deep Learning (apprentissage automatique basé sur des réseaux de neurones artificiels profonds) est devenu extrêmement populaire ces dernières années en raison des très bons résultats qu'il permet d'obtenir pour des tâches telles que la régression, la classification ou la génération.
- Objectifs: fournir une compréhension théorique et une utilisation pratique des trois principaux types de réseaux (Multi-Layer-Perceptron, Réseau de neurones récurrents et Réseau de neurones convolutifs) et des prinipaux paradigmes de génération (GAN et VAE) Le contenu de ce cours va du perceptron à la génération d'images adverses.
- Format :
- 7 sessions de 3 heures + examen
- Chaque cours théorique est suivi d'un TP sur le contenu correspondant où les étudiants apprennent à implémenter ces réseaux en utilisant les trois frameworks les plus populaires : pytorch et keras.
- Notation : examen écrit
Objectifs pédagogiques
Acquis d'apprentissage
À l'issue de ce module, l'élève sera capable de:
- expliquer la théorie sous-jacentes aux principales architectures et paradigmes d'apprentissage du deep learning
- programmer ces architectures en python en utilisant le framework de deep learning pytorch
- appliquer ces architectures à des problèmes typiques de vision par ordinateur, de NLP ou d'audio tels que la classification, la régression ou la génération.
Compétences de rattachement (et justification)
- BC5.2 – Concevoir un système de traitement de données, d’intelligence artificielle, d’apprentissage machine dans un objectif d’aide à la décision ou de recherche automatique d’information; Justification : A l'issu de l'UE, l'étudiant.e sera en mesure de choisir l'architecture et l'entrainement d'un système de deep learning le plus adéquat pour un problème donné; et de le programmer dans le langage pytorch
- BC5.4 – Tester, gérer un système de traitement de données, d’intelligence artificielle, d’apprentissage machine dans un objectif d’aide à la décision ou de recherche automatique d’information; Justification : A l'issu de l'UE, l'étudiant.e sera en mesure de tester un système de deep learning en mesurant ses performances sur les sous-ensemble de train/valid/test et d'en déduire la généralisation (biais/variance).
Diplôme(s) concerné(s)
- Echange international non diplomant
- Diplôme d'ingénieur
- Echange international non diplomant
- Diplôme d'ingénieur
UE de rattachement
- CSC_4SDS2_TP : Filière Data Science & Artificial Intelligence (créneau C) - Semestre 2,
- APM_4AIS2_TP : Filière Signal Processing & Artificial Intelligence (créneau C) - Semestre 2
Format des notes
Numérique sur 20Pour les étudiants du diplôme Diplôme d'ingénieur
Vos modalités d'acquisition :
Le module est évalué sur base des acquis en
- connaissance du deep learning (quizz pendant les séances de TPs) ainsi qu'examen final écrit sur site
- pratique du deep learning (peer-grading des remises des TPs)
- le rattrapage est obligatoire si :
- Note initiale < 10
Le coefficient de l'UE est : 1
L'UE est évaluée par les étudiants.
Pour les étudiants du diplôme Echange international non diplomant
Programme détaillé
- Cours 1 : de la régression, de la régression à noyau au multicouche-percetron, y compris l'optimisation (SDG, Newton, Momentum, AdaGrad), la régression logistique/softmax, la classification, la rétropropagation, la règle de la chaîne, la régularisation (L1, L2) et les définitions des pertes.
- Lab 1 : implémentation d'un MLP dans pytorch
- Cours 2 : Réseau de neurones convolutifs : rétropropagation, pooling, réseaux les plus connus, apprentissage par transfert.
- Lab 2 : implémentation de CNN dans pytorch
- **Cours 3 : Modèles génératifs profonds : Génération d'images avec GAN (Déconvolution, DCGAN, Score d'Inception, Wasserstein GAN, Traduction d'image à image, CycleGAN), Génération de vidéos avec GAN (MoCoGAN), Auto-Encoders, VAE
- Cours 4 : des réseaux neuronaux récurrents aux transformateurs, y compris la rétropropagation à travers le temps, LSTM, applications au NLP.
- Lab 4: implémentation de RNN dans keras
