Descriptif
Dans une première partie, l‘objectif de cet enseignement très pratique est de présenter comment installer et configurer Hadoop, d’initier au modèle de programmation MapReduce et à l’utilisation de technologies de l'écosystème YARN tels que Spark en mode cluster, dans la perspective du projet Fil Rouge démarrant en P2.
Parmi les points abordés : aspects théoriques du calcul distribué (verrous distribués, algorithmes d'élection, paradigmes de calcul distribué, problème de consensus, tolérance à la panne, etc.), utilisation des machines virtuelles, installation du framework Hadoop (Zookeeper + HDFS + MapReduce), administration du framework Hadoop (taux de réplication HDFS), utilisation du framework Hadoop pour la mise en œuvre d'opérations MapReduce avec utilisation de la bibliothèque Hadoop streaming
effectifs minimal / maximal:
10/40Diplôme(s) concerné(s)
Format des notes
Numérique sur 20Littérale/grade européenPour les étudiants du diplôme Big Data : gestion et analyse des données massives
Le rattrapage est autorisé (Max entre les deux notes)- le rattrapage peut être demandé par l'étudiant si :
- Note initiale < 10
- Crédits ECTS acquis : 2 ECTS
Mots clés
Spark, Framework, MapReduceSupport pédagogique multimédia