Introduction à l’écosystème Hadoop

• Définition du Big Data
• Comprendre le NoSQL
• Architecture de Hadoop
• L’Écosystème de Hadoop
• Rôle des différents composants de l’écosystème Hadoop
• Rôle des collecteurs de données
• Distributions d’Hadoop
• Atelier pratique

Installation de l’environnement Hadoop

• Choix de la version
• Installation de Java
• Téléchargement de Hadoop
• Installation de Hadoop
• Test de Hadoop

Atelier pratique : Installation Hadoop

HDFS – La couche de stockage

• Caractéristiques de HDFS
• Architecture de HDFS
• Services HDFS
• Opérations HDFS
• Administration du cluster HDFS
• Gestion des services HDFS
• Manipulation des fichiers en ligne de commande
• Exécution des opérations en Java
• Utilisation des InputStream Java
• Accès à HDFS avec WebHDFS
• Configuration de HDFS
• Démarrage et arrêt de HDFS

Atelier pratique : Manipulation sur HDFS

Fonctionnement de MapReduce

• Principes de base de MapReduce
• Architecture MapReduce
• Fonction map()
• Fonction reduce()
• Conception d’un MapReduce
• Développer le mapper
• Développer le reducer
• Création d’un jeu de données
• Création d’un driver
• Lancement d’un MapReduce en Java
• Suivi de l’évolution du MapReduce
• Développement d’un MapReduce en PHP
• Lancement des MapReduce avec Hadoop Streaming

Atelier pratique : Fonctionnement de MapReduce

Hadoop YARN – Gestion de CLuster Hadoop

• Définition de Hadoop YARN
• Limitation MapReduce1 (MR1)
• Naissance de YARN
• Concept général de YARN
• Architecture de Hadoop YARN
• Application de YARN
• Workflow d’application dans Hadoop YARN
• Anatomie de l’exécution d’une application YARN

Atelier pratique

Hive – Outil d’analyse de données

• Comprendre Hive
• Architecture de Hive
• Modèle de données
• Installation de Hive
• Configuration de Hive
• Démarrage de Hive
• Vérification du processus
• Langage Hive QL
• Insérer des données complexes
• Extraire des types complexes dans le SELECT
• Écrire des jointures
• Utiliser les sous-requêtes et le LIKE
• Créer des index

Atelier pratique : Installation et Manipulation de Hive

Apache Sqoop – Collecte de données

• Définition de Sqoop
• Cible des imports dans le cluster
• Architecture de Sqoop
• Fonctionnement de Sqoop
• Exemple d’import vers HDFS
• Exemples d’import vers Hive
• Exemple d‘exports

Atelier pratique

Base de données NoSQL – HBase

• Définition de Hbase
• Hbase avec Hadoop
• Cas d’utilisation de HBase
• Comprendre le modèle Hbase
• Installation de Hbase
• Architecture de Hbase
• Composants Hbase (Region, Region Server, Region Split)
• Lecture et écriture dans Hbase
• API Shell
• API Java

Atelier pratique : Base de données NoSQL – HBase

Apache Pig – Plateforme de création de programme MapReduce

• Présentation de Pig
• Fonctionnement Pig
• Architecture de Pig
• Apache Pig Environment
• Pig Latin

Atelier pratique

Apache Oozie -Ordonnanceur de WorkFlow

• Définition de Oozie
• Caractéristiques Oozie
• Fonctionnement de Oozie
• Actions Oozie
• Oozie Job
• Oozie workflow
• Coordinateur Oozie
• Paramètre Oozie
• Monitoring Oozie
• Packaging et déploiement d’une application de workflow Oozie

Atelier pratique : Apache Oozie

Apache Flume- Collecte de donnée

• Flume dans Hadoop
• Architecture de Flume
• Caractéristiques de Flume
• Atelier pratique

Apache Zookeeper- Gestion et monitoring de l’écosystème Hadoop

• Définition de Zookeeper
• Architecture de Zookeeper
• fonctionnement de Zookeeper
• Vidéo: Coordination des workflows avec ZooKeeper

Atelier pratique