Big Data : Programmer Hadoop en Java

Formation #1251 - 4 jours

À propos de cette formation :

La disponibilité de grands volûmes de données représente de nouvelles opportunités et de nouveaux défits pour les entreprises de toute taille. Dans ce cours, vous apprendrez les bonnes pratiques et vous obtenez les compétences pratiques de programmation pour développer des solutions compatibles avec la plateforme Hadoop d'Apache grâce. Vous apprenez à tester et à déployer des solutions Big Data sur des clusters de serveurs standards.

Vous apprendrez à :

  • Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux et variés et apporter ainsi de la valeur à votre entreprise
  • Créer, personnaliser et déployer des tâches MapReduce pour synthétiser les données
  • Charger des données non structurées des systèmes HDFS et HBase

Travaux Pratiques :

  • Développer des algorithmes parallèles efficaces
  • Analyser des fichiers non structurés et développer des tâches Java MapReduce
  • Charger et récupérer des données de HBase et du système de fichiers distribué Hadoop (HDFS)
  • User Defined Functions de Hive et Pig

À qui s'adresse cette formation ?

Cette formation s’adresse à toute personne amenée à utiliser, administrer ou déployer SharePoint dans une organisation. Elle est également utile aux personnes qui souhaitent développer ou administrer des applications SharePoint.

Prérequis :

Vous devez avoir une expérience pratique de Microsoft Windows, d’Office et du Web.

Contenu de cette formation :

  • Évaluer la valeur que peut apporter Hadoop à l'entreprise
  • Examiner l'écosystème d'Hadoop
  • Choisir un modèle de distribution adapté

Défier la complexité de la programmation parallèle

  • Examiner les difficultés liées à l'exécution de programmes parallèles : algorithmes, échange des données
  • Évaluer le mode de stockage et la complexité du Big Data

Programmation parallèle avec MapReduce

  • Fragmenter et résoudre les problèmes à grande échelle
  • Découvrir les tâches compatibles avec MapReduce
  • Résoudre des problèmes métier courants

Appliquer le paradigme Hadoop MapReduce

  • Configurer l'environnement de développement
  • Examiner la distribution Hadoop
  • Étudier les démons Hadoop
  • Créer les différents composants des tâches MapReduce
  • Analyser les différentes étapes de traitement MapReduce : fractionnement, mappage, lecture aléatoire et réduction

Créer des tâches MapReduce complexes

  • Choisir et utiliser plusieurs outils de mappage et de réduction, exploiter les partitionneurs et les fonctions map et reduce intégrées, analyser les données en séries temporelles avec un second tri, rationaliser les tâches dans différents langages de programmation

Résoudre les problèmes de manipulation des données

  • Exécuter les algorithmes : tris, jointures et recherches parallèles, analyser les fichiers journaux, les données des média sociaux et les courriels

Mise en œuvre des partitionneurs et des comparateurs

  • Identifier les algorithmes parallèles liés au réseau, au processeur et aux E/S de disque
  • Répartir la charge de travail avec les partitionneurs
  • Contrôler l'ordre de groupement et de tri avec les comparateurs
  • Mesurer les performances avec les compteurs

Bien-fondé des données distribuées

  • Optimiser les performances du débit des données
  • Utiliser la redondance pour récupérer les données

Interfacer avec le système de fichiers distribué Hadoop

  • Analyser la structure et l'organisation du HDFS
  • Charger des données brutes et récupérer le résultat
  • Lire et écrire des données avec un programme
  • Manipuler les types SequenceFile d'Hadoop
  • Partager des données de référence avec DistributedCache

Structurer les données avec HBase

  • Passer du stockage structuré au stockage non structuré
  • Appliquer les principes NoSQL avec une application de modèle à la lecture, se connecter à HBase à partir des tâches MapReduce, comparer HBase avec d'autres types de magasins de données NoSQL

Exploiter la puissance de SQL avec Hive

  • Structurer bases de données, les tables, les vues et les partitions
  • Intégrer des travaux MapReduce avec des requêtes Hive
  • Lancer des requêtes avec HiveQL
  • Accéder aux servers Hive via IDBC, ajouter des fonctionnalités à HiveQL avec les fonctions définies par l'utilisateur

Exécuter des workflows avec Pig

  • Développer des scripts Pig Latin pour consolider les workflows, intégrer des requêtes Pig à Java
  • Interagir avec les données par le biais de la console Grunt
  • Étendre Pig avec les fonctions définies par l'utilisateur

Tester et déboguer le code Hadoop

  • Enregistrer des événements importants à auditer et à déboguer
  • Valider les spécifications avec MRUnit
  • Déboguer en mode local

Déployer, surveiller et affiner les performances

  • Déployer la solution sur un cluster de production, utiliser des outils d'administration pour optimiser les performances, surveiller l'exécution des tâches via les interfaces utilisateur web

Sessions planifiées

Appelez le 01 49 68 53 00 ou inscrivez-vous en ligne en sélectionnant une date ci-dessous :

21 mars 2017 - 2220 €
Paris - AnyWare
13 juin 2017 - 2220 €
Paris - AnyWare
26 septembre 2017 - 2220 €
Paris - AnyWare
28 novembre 2017 - 2220 €
Paris - AnyWare

Inscription sans risque : pas de paiement à l'avance, réglement jusqu'à 30 jours après la formation, satisfaction garantie ou vous ne payez pas la formation.

Financez votre formation

Le financement de votre formation ne doit pas être un obstacle. Nos conseillers vous aiderons dans vos démarches avec les OPCA par exemple.
Profitez également de la réduction Return to Learn qui récompense les participants ayant déjà suivi une formation Learning Tree.<
Pour en savoir plus, cliquez ici.

Votre formation à distance et en direct !

Sans frais supplémentaires, depuis tout lieu possédant une connexion Internet, connectez-vous en temps réel et en direct à une session dispensée par nos formateurs grâce à AnyWare™, la plateforme de formation en distanciel de Learning Tree.

Intra-entreprise

Organisez cette formation Learning Tree sur votre lieu de travail avec notre solution intra-entreprise.

Demander un devis

Suivez une formation Learning Tree et profitez des avantages de SUPINFO International University !

Pour toute formation que vous aurez suivi chez Learning Tree, SUPINFO International University vous offre pendant un an le statut Advanced Member d'une valeur de 250€.
Ce statut privilégié vous permettra de profiter de ressources pédagogiques sélectionnées par SUPINFO :

* Services disponibles prochainement.