Administration de Hadoop pour solutions Big Data

Formation #1252 - 4 jours

À propos de cette formation :

L'émergence de grands volumes de données représente de nouvelles opportunités et de nouveaux défis pour les entreprises de toute taille. Au cours de cette formation Big Data, vous allez acquérir les compétences pratiques nécessaires pour installer, configurer et gérer la plateforme Hadoop d'Apache. Vous apprendrez également à construire un cluster Hadoop, à sauvegarder et sécuriser les données de votre cluster et à intégrer des applications et des outils, parmi lesquels Sqoop, Flume, Pig, Hive et HBase.

Vous apprendrez à :

  • Créer l'architecture d'une solution Hadoop pour répondre auxbesoins de votre entreprise
  • Installer et configurer un cluster Hadoop qui gère des ensemblesde données volumineux
  • Configurer et personnaliser un environnement Hadoop pour optimiser la disponibilité et le débit des données

Travaux Pratiques :

  • Installer Hadoop sur un cluster
  • Accéder au système de fichiers distribué Hadoop (HDFS)en lecture et en écriture
  • Mettre en œuvre la haute disponibilité, le basculement etla récupération des données
  • Mettre en place la fédération des nœuds de nommage

À qui s'adresse cette formation ?

Aux administrateurs Hadoop, aux administrateurs de systèmes Linux, aux administrateurs de bases de données, aux administrateurs de réseaux et aux développeurs qui ont besoin de savoir comment installer et gérer leurs clusters de développement Hadoop. Une expérience en programmation est utile mais pas obligatoire.

Prérequis :

Même s'il n'est pas obligatoire d'avoir une expérience préalable de Linux, il est utile d'avoir des connaissances correspondant au niveau de la formation 144, Linux : Administration et maintenance. De la même manière, aucune expérience de programmation n'est obligatoire mais des connaissances de Java correspondant au niveau de la formation 471, Programmation Java : Les fondamentaux sont utiles.

Contenu de cette formation :

Installation du système de fichiers distribuéHadoop (HDFS)

  • Définir l'architecture globale et ses principaux composants
  • Configurer et installer le système de fichiers
  • Exécuter des commandes depuis la console
  • Accéder aux fichiers en lecture et en écriture

Préparer l'environnement pour MapReduce

  • Revoir les principes de MapReduce
  • Découvrir les démons informatiques
  • Examiner une tâche MapReduce

Planification de l'architecture

  • Choisir le matériel adéquat
  • Concevoir un cluster évolutif

Développement du cluster

  • Installer les démons Hadoop
  • Optimiser l'architecture du réseau

Préparation du système HDFS

  • Paramétrer les principales options de configuration
  • Configurer les redondance, réplication et affectation des blocs

Déploiement de MapReduce

  • Installer et paramétrer l'environnement MapReduce
  • Réaliser l'équilibrage de charge par la connaissance des racks

Créer un système de fichiers tolérant aux pannes

  • Isoler les éléments dysfonctionnels
  • Garantir la haute disponibilité
  • Déclencher manuellement le basculement
  • Automatiser le basculement avec Zookeeper

Optimiser la fédération des nœuds de nommage

  • Développer des ressources HDFS
  • Gérer les volumes des espaces de noms

Présentation de YARN

  • Analyser l'architecture de YARN
  • Identifier les nouveaux démons

Affectation des ressources

  • Définir des quotas pour limiter l'utilisation du système HDFS
  • Planificateurs pour hiérarchiser l'accès à MapReduce

Gestion de HDFS

  • Démarrer et arrêter des démons Hadoop
  • Surveiller l'état du système HDFS
  • Ajouter et supprimer des nœuds de données

Administration de MapReduce

  • Gérer les tâches MapReduce, suivre l'avancement avec des outils d'analyse, mise en service et arrêt des nœuds de calcul

Utiliser les outils standards intégrés

  • Gérer et déboguer les processus avec les mesures JVM
  • Vérifier l'état d'Hadoop

Utiliser des outils de personnalisation complémentaires

  • Évaluer les performances avec Ganglia et Chukwa
  • Benchmarking pour garantir des performances continues

Simplifier l'accès aux informations

  • Activer l'envoi de requêtes de type SQL avec Hive
  • Installer Pig pour créer des tâches MapReduce

Intégrer des éléments supplémentaires de l'écosystème

  • Afficher le système HDFS sous forme de tableau avec HBase
  • Configurer Oozie pour la planification des workflows

Faciliter l'entrée / la sortie de données génériques

  • Déplacer des blocs de données depuis ou vers Hadoop
  • Transférer des données HDFS via HTTP avec WebHDES

Recueillir des données d'application

  • Récupérer des fichiers journaux provenant de différentes sources avec Flume, importer et exporter des informations sur les bases de données relationnelles avec Sqoop
  • Gérer les pannes matérielles courantes
  • Sécuriser le cluster Hadoop

Crédits ECTS : 10

Formation éligible aux parcours diplômants de SUPINFO International University.

Sessions planifiées

Appelez le 01 49 68 53 00 ou inscrivez-vous en ligne en sélectionnant une date ci-dessous :

28 mars 2017 - 2220 €
Paris - AnyWare
27 juin 2017 - 2220 €
Paris - AnyWare
19 septembre 2017 - 2220 €
Paris - AnyWare
12 décembre 2017 - 2220 €
Paris - AnyWare

Inscription sans risque : pas de paiement à l'avance, réglement jusqu'à 30 jours après la formation, satisfaction garantie ou vous ne payez pas la formation.

Financez votre formation

Le financement de votre formation ne doit pas être un obstacle. Nos conseillers vous aiderons dans vos démarches avec les OPCA par exemple.
Profitez également de la réduction Return to Learn qui récompense les participants ayant déjà suivi une formation Learning Tree.<
Pour en savoir plus, cliquez ici.

Votre formation à distance et en direct !

Sans frais supplémentaires, depuis tout lieu possédant une connexion Internet, connectez-vous en temps réel et en direct à une session dispensée par nos formateurs grâce à AnyWare™, la plateforme de formation en distanciel de Learning Tree.

Intra-entreprise

Organisez cette formation Learning Tree sur votre lieu de travail avec notre solution intra-entreprise.

Demander un devis

Suivez une formation Learning Tree et profitez des avantages de SUPINFO International University !

Pour toute formation que vous aurez suivi chez Learning Tree, SUPINFO International University vous offre pendant un an le statut Advanced Member d'une valeur de 250€.
Ce statut privilégié vous permettra de profiter de ressources pédagogiques sélectionnées par SUPINFO :

* Services disponibles prochainement.