Formation Diffusion de données

Développez vos compétences. Zéro euro à payer. Grâce à nos formations payées par l’Etat

Apprenez à traiter les données en temps réel en développant la maîtrise des outils modernes d’ingénierie des données, tels qu’Apache Spark, Kafka, Spark Streaming et Kafka Streaming. Vous commencerez par comprendre les composants des systèmes de streaming de données. Vous créerez ensuite une application d’analyse en temps réel. Les étudiants compileront également des données et exécuteront des analyses, ainsi que des informations à partir des rapports générés par la console de diffusion en continu.

CONNAISSANCES PRÉALABLES

Pour réussir dans ce programme, vous devez avoir des compétences intermédiaires en Python et SQL, ainsi qu’une expérience avec ETL. Voir les exigences détaillées.

  • Fondements du streaming de donnéesApprenez les bases du traitement de flux, y compris comment travailler avec l’écosystème Apache Kafka, les schémas de données, ApacheAvro, Kafka Connect et le proxy REST, KSQL et Faust Stream Processing. OPTIMISER LE TRANSPORT EN COMMUN DE CHICAGO
  • Développement et documentation d’API de streamingL’objectif de ce cours est de développer votre expertise dans les composants des systèmes de données en continu et de créer une application d’analyse en temps réel. Plus précisément, vous serez en mesure d’identifier les composants de Spark Streaming (architecture et API), de créer une application continue avec Structured Streaming, de consommer et de traiter les données d’Apache Kafka avec Spark Structured Streaming (y compris la configuration et l’exécution d’un Spark Cluster), de créer un DataFrame en tant qu’agrégation de DataFrames source, récupérez un DataFrame composite vers Kafka et inspectez visuellement un récepteur de données pour en vérifier la précision.

Début des cours tous les jours