TP #1 - Hadoop map-reduce¶
avec la librairie MRJobs
Ce TP fait suite au cours sur le framework libre et open source appelé Hadoop, développé et maintenu par la Fondation Apache.
La première étape consiste à rapatrier des fichiers qui nous seront utiles:
Remarque introductive Ce TP ne porte pas sur l’installation d’Hadoop mais sur l’usage de celui pour développer des algorithmes map-reduce. Ainsi, la suite du TP n’explique pas toutes les commandes pour construire et lancer l’environnement de travail (par le biais de Docker) et se limite à vous décrire l’enchaînement des étapes nécessaires.
Pour installer Hadoop sur votre machine (à l’aide de Docker), suivez les consignes du fichier :
Suivez ensuite les consignes permettant de lancer le comptage de mots en tant que job Hadoop :
Enfin, répondez aux exercices de cet énoncé qui exploite la librairie MRJobs: