Apache Spark : Programmation de solutions Big Data avec Scala

Formation #1262 - 4 jours

Les ensembles de données volumineux représentent de nouvelles opportunités mais également des défis d'un nouveau genre pour les entreprises de toutes tailles. Cette formation présente les bonnes pratiques en matière d'utilisation de Spark et vous enseigne les principes du développement d'applications avec Spark et les compétences de programmation dont vous avez besoin pour développer des solutions pour la plateforme Apache Spark. Vous apprendrez également à tester et à déployer des solutions Big Data sur des clusters de serveurs standards.

  • Développer des applications avec Spark
  • Utiliser les bibliothèques pour SQL, les flux de données et l'apprentissage automatique
  • Retranscrire des difficultés rencontrées sur le terrain dans des algorithmes parallèles
  • Développer des applications métier qui s'intègrent à Spark

  • Imbriquer des requêtes SQL dans des applications Spark
  • Analyser des flux de données en temps réel
  • Classification et mise en cluster des données avec l'apprentissage automatique
  • Créer un service Web RESTful avec Spark

Aux développeurs, aux architectes système et aux responsables techniques qui veulent déployer des solutions Spark dans leur entreprise.

Vous devez avoir une expérience professionnelle de programmation du niveau de la formation 471, Programmation Java : Les fondamentaux, ou de la formation 419, Programmation en C# : Les fondamentaux. Vous devez avoir entre trois et six mois d'expérience de programmation avec un langage orienté objet.

  • Définition du Big Data et des calculs
  • À quoi sert Spark
  • Quels sont les avantages de Spark

Applications évolutives

  • Identifier les limites de performances des CPU modernes
  • Développer les modèles de traitement en parallèle traditionnels

Créer des algorithmes parallèles

  • Utiliser la programmation fonctionnelle pour l'exécution des programmes en parallèles
  • Retranscrire des difficultés rencontrées sur le terrain dans des algorithmes parallèles

Structures de données parallèles

  • Répartir les données dans le cluster avec les RDD (Resilient Distributed Datasets) et les DataFrames
  • Répartir l'exécution des tâches entre plusieurs nœuds
  • Lancer les applications avec le modèle d'exécution de Spark

Structure des clusters Spark

  • Créer des clusters résilients et résistants aux pannes
  • Mettre en place un système de stockage distribué évolutif

Gestion du cluster

  • Surveillance et administration des applications Spark
  • Afficher les plans d'exécution et les résultats

Choisir l'environnement de développement

  • Réaliser une analyse exploratoire avec le shell Spark
  • Créer des applications Spark autonomes

Utiliser les API Spark

  • Programmation avec Scala et d'autres langages compatibles
  • Créer des applications avec les API de base
  • Enrichir les applications avec les bibliothèques intégrées

Interroger des données structurées

  • Traiter les requêtes avec les DataFrames et le code SQL embarqué
  • Développer SQL avec les fonctions définies par l'utilisateur (UDF)
  • Utiliser les ensembles de données aux formats JSON et Parquet

Intégration à des systèmes externes

  • Connexion aux bases de données avec JDBC
  • Lancer des requêtes Hive sur des applications externes

Qu'appelle-t-on flux de données ?

  • Utiliser des fenêtres glissantes
  • Déterminer l'état d'un flux de données continu
  • Traiter des flux de données simultanés
  • Améliorer les performances et la fiabilité

Traiter les flux des sources de données

  • Traiter les flux des sources intégrées (fichiers journaux, sockets Twitter, Kinesis, Kafka)
  • Développer des récepteurs personnalisés
  • Traiter les données avec l'API Streaming et Spark SQL

Classer les observations

  • Prévoir les résultats avec l'apprentissage supervisé
  • Créer un élément de classification pour l'arbre de décision

Identifier les schémas récurrents

  • Regrouper les données avec l'apprentissage non supervisé
  • Créer un cluster avec la méthode k-means

Développer des applications métier avec Spark

  • Mise à disposition de Spark via un service Web RESTful
  • Générer des tableaux de bord avec Spark

Utiliser Spark sous forme de service

  • Service cloud vs. sur site
  • Choisir un fournisseur de services (AWS, Azure, Databricks, etc.)
  • Développer Spark pour les clusters de grande taille
  • Améliorer la sécurité des clusters multifournisseurs
  • Suivi du développement continu de produits Spark sur le marché
  • Projet Tungsten : repousser les performances à la limite des capacités des équipements modernes
  • Utiliser les projets développés avec Spark
  • Revoir l'architecture de Spark pour les plateformes mobiles

Sessions planifiées

Appelez le 01 49 68 53 00 ou inscrivez-vous en ligne en sélectionnant une date ci-dessous :

4 juillet 2017 - 2220 €
Paris - AnyWare
17 octobre 2017 - 2220 €
Paris - AnyWare
19 décembre 2017 - 2220 €
Paris - AnyWare

Inscription sans risque : pas de paiement à l'avance, réglement jusqu'à 30 jours après la formation, satisfaction garantie ou vous ne payez pas la formation.

Financez votre formation

Le financement de votre formation ne doit pas être un obstacle. Nos conseillers vous aiderons dans vos démarches avec les OPCA par exemple.
Profitez également de la réduction Return to Learn qui récompense les participants ayant déjà suivi une formation Learning Tree.
Pour en savoir plus, cliquez ici.

Votre formation à distance et en direct !

Sans frais supplémentaires, depuis tout lieu possédant une connexion Internet, connectez-vous en temps réel et en direct à une session dispensée par nos formateurs grâce à AnyWare™, la plateforme de formation en distanciel de Learning Tree.

Intra-entreprise

Organisez cette formation Learning Tree sur votre lieu de travail avec notre solution intra-entreprise.

Demander un devis

Notre catalogue

Vous souhaitez parcourir toute notre offre de formation ultérieurement ?

Téléchargez notre catalogue

Suivez une formation Learning Tree et profitez des avantages de SUPINFO International University !

Pour toute formation que vous aurez suivi chez Learning Tree, SUPINFO International University vous offre pendant un an le statut Advanced Member d'une valeur de 250€.
Ce statut privilégié vous permettra de profiter de ressources pédagogiques sélectionnées par SUPINFO :

* Services disponibles prochainement.