TP : Hadoop map-reduce avec la librairie _MrJob_
Auteurs
- Stéphane Derrode & Lamia Derrode, Centrale Lyon, Dpt Mathématiques & Informatique
Objectifs
Ce TP exploite la librairie MrJob, pour mettre en œuvre des algorihtmes map-reduce exploitant des successions de phases map et reduce. Nous allons ici utiliser cette librairie d’abord en local, puis dans le cluster Hadoop installé dans le container Docker (cf. TP précédent).
Librairie MrJob¶
Installez et testez la librairie MrJob en local:
Répondez aux exercices de cet énoncé:
Testez un algorithme MrJob sur le cluster Hadoop: