Auteurs

• Stéphane Derrode & Lamia Derrode, Centrale Lyon, Dpt Mathématiques & Informatique

Table des matières

• Informations generales
• Evaluation
• Deroule des seances
  • Sequence #1 (16 \& 17 dec. 2024) - Introduction au Big Data et a l’Open Data
  • Sequence #2 (18 \& 23 dec. 2024) - Algorithme map-reduce (framework Hadoop)
  • Sequence #3 (23 \& 24 dec. 2024) - Algorithme map-reduce (librairie MrJob)

Cet espace recueille les fichiers de cours et TP du module Technologies Informatiques du Big Data, enseigné à l’École Centrale de Casablanca. Tous les rendus se feront sur le site edunao.

---

Informations generales¶

• 20h de cours et de TP, du 16 au 24 décembre 2024.

• Slides des 3 séquences de cours :

  1. Introduction : Big Data, données personnelles et éthique des données
  2. Open Data
  3. Linked Open Data
  4. Hadoop

Evaluation¶

• Un examen de TP lors de la dernière séance (le mardi 24 décembre). La note comptera pour 33% de la note finale
• Un dossier, à rédiger sur un sujet en lien avec le big data par 2 à 3 élèves. Les consignes sont disponibles sur ce lien et seront présentées lors de la première séance de cours. La note comptera pour 67% de la note finale.

Deroule des seances¶

---

Sequence #1 (16 & 17 dec. 2024) - Introduction au Big Data et a l’Open Data¶

Objectifs de la séquence

• Introduction au Big Data: enjeux éthiques, économiques & scientifiques.
• Introduction à l’Open Data et à SparQL. Vidéos utilisées en cours:
  • L’open data à la loupe.
  • How we found the worst place to park in New York City.
• TP LoD sur SparQL.

Vidéos complémentaires

• Le Big Data pour mieux nous comprendre.
• Let’s pool our medical data.
• Why privacy matters?
• Big Data will impact every part of your life.
• Big data and dangerous ideas.
• Big Data and the Rise of Augmented Intelligence.
• How Big Data Can Influence Decisions That Actually Matter.
• Is Big Data Killing Creativity?
• Analyzing and modeling complex and big data.
• How to Monetize Big Data.
• How to predict the future with big data.
• Demand on a more open-source government.
• L’Open Data, Avenir des Big Data.
• Linked Open Data - What is it?.

---

Sequence #2 (18 & 23 dec. 2024) - Algorithme map-reduce (framework Hadoop)¶

Objectifs de la séquence

• Présentation de map-reduce et du framework Hadoop.
• Réalisation du TP Hadoop natif sur l’utilisation d’un cluster hadoop fonctionnant sous Linux (job map-reduce, HDFS…).

---

Sequence #3 (23 & 24 dec. 2024) - Algorithme map-reduce (librairie MrJob)¶

Objectifs de la séquence

• Présentation de la librairie MRJob.
• Réalisation du TP Hadoop avec MrJob sur l’usage de cette librairie.