Descriptif

Objectifs du cours :

Ce cours vise à fournir une compréhension approfondie des modèles fondamentaux multimodaux et des technologies d'intelligence artificielle générative. Les étudiants exploreront les bases théoriques, les avancées récentes et les applications pratiques des modèles d'apprentissage profond dans des contextes multimodaux. À la fin du cours, les participants auront acquis des connaissances solides sur les technologies modernes telles que les Transformers, les modèles CLIP, la génération multimodale, la Visual Question Answering (VQA), et des techniques avancées comme le pruning et la quantification.

Contenu du cours :

1. Introduction aux Modèles Fondamentaux Multimodaux

• Définition et importance des modèles fondamentaux.
• Évolution des modèles de BERT à GPT-4 et au-delà.

2. Les Transformers : Fondations et Applications : Architecture des Transformers : Attention mécanisme et embeddings.

3. CLIP : Connecter Texte et Images  : Présentation de CLIP : Concepts et formation et différentes applications 

4. Modèles Génératifs Multimodaux

• Introduction aux modèles génératifs comme DALL-E et Stable Diffusion.
• Formation des modèles avec plusieurs modalités : texte, image, audio, vidéo.
• Défis et solutions pour la génération cohérente et créative.

5. Visual Question Answering (VQA) : Principes fondamentaux de la VQA et les différents models

6. Grounding et Modèles Spécialisés: Exploration de Grounding DINO, SAM et Depth Anything, Florence 2, etc ...

7. Pruning et Quantification : Optimisation des Modèles

• Techniques de pruning pour réduire la taille des modèles.
• Méthodes de quantification pour améliorer l’efficacité computationnelle.