DP-3027 : Implémenter une solution d'ingénierie des données avec Azure Databricks

NOUVEAU COURS : Le lancement du matériel DP-3027 : Mettre en œuvre une solution d'ingénierie des données avec Azure Databricks est reporté à une date ultérieure.

Cours DP-3027 : Mettre en œuvre une solution d’ingénierie des données avec Azure Databricks

Dans ce cours, apprenez à tirer parti de la puissance d' Apache Spark et des puissants clusters exécutés sur la plateforme Azure Databricks pour exécuter des charges de travail d'ingénierie de données importantes dans le cloud.

Niveau : Débutant - Rôle : Analyste de données, Ingénieur de données, Data Scientist - Produit : Azure - Sujet : Ingénierie des données

Cours destiné à

Les ingénieurs de données, les scientifiques des données et les développeurs ELT apprennent à tirer parti de la puissance d' Apache Spark et des puissants clusters exécutés sur la plateforme Azure Databricks pour exécuter d'importantes charges de travail d'ingénierie des données dans le cloud.

Objectifs du cours officiel DP-3027

• Comprendre l'architecture d'Azure Databricks : familiarisez-vous avec les composants clés de la plateforme et leur intégration avec les autres services Azure.

• Mettez en œuvre des techniques d'ingestion de données : apprenez à capturer des données provenant de sources multiples à l'aide d'outils tels que Structured Streaming et Delta Lake.

• Effectuer des transformations et des traitements de données : utiliser Apache Spark pour nettoyer, transformer et préparer les données en vue de leur analyse ou de leur stockage.

• Développer des flux ETL évolutifs : créer des pipelines de données efficaces et réutilisables capables de gérer de grands volumes d’informations.

• Optimisez les performances des processus : appliquez des stratégies de réglage, de mise à l’échelle automatique et d’observabilité pour améliorer l’efficacité des flux de travail.

• Mettez en œuvre des architectures de flux avec Delta Live Tables : concevez des solutions en temps réel pour le traitement continu des données.

• Automatisez les tâches avec Azure Databricks Jobs : orchestrez et planifiez les flux de travail pour réduire les interventions manuelles et accélérer la diffusion des informations.

• Appliquer l'intégration continue et la livraison continue (CI/CD) dans les environnements de données : intégrer les pratiques de développement continu pour maintenir la qualité et la stabilité des solutions de données.

Contenu du cours officiel Azure Databricks DP-3027

Module 1 : Effectuer un traitement incrémental avec Spark Structured Streaming

• Introduction
  
• Configuration des sources de données en temps réel pour le traitement incrémental
  
• Optimisation de Delta Lake pour le traitement incrémentiel sur Azure Databricks
  
• Contrôle des données retardées et des événements hors séquence dans le traitement incrémental
  
• Stratégies de surveillance et d'optimisation des performances pour le traitement incrémentiel dans Azure Databricks
  
• Exercice : Ingestion et traitement de données en temps réel avec Delta Live Tables à l’aide d’Azure Databricks

Module 2 Implémentation des modèles d'architecture de flux avec Delta Live Tables

• Introduction
  
• Architectures événementielles avec Delta Live Tables
  
• Ingestion de données avec flux structuré
  
• Maintenir la cohérence et la fiabilité des données grâce au streaming structuré
  
• Mise à l'échelle des charges de travail de streaming avec Delta Live Tables
  
• Exercice : Canalisation de flux de bout en bout avec Delta Live Tables

Module 3 Optimisation des performances avec Spark et les tables dynamiques Delta

• Introduction
  
• Optimisation des performances avec Spark et Delta Live Tables
  
• Optimisation basée sur les coûts et ajustement des requêtes
  
• Utilisation de la capture des données modifiées (CDC)
  
• Utilisation d'une mise à l'échelle automatique améliorée
  
• Mettre en œuvre des indicateurs d'observabilité et de qualité des données
  
• Exercice : Optimisation des pipelines de données pour améliorer les performances dans Azure Databricks

Module 4 : Mise en œuvre des flux de travail CI/CD dans Azure Databricks

• Introduction
  
• Mise en œuvre du contrôle de version et de l'intégration Git
  
• Exécution des tests unitaires et des tests d'intégration
  
• Administration et configuration de l'environnement
  
• Mise en œuvre de stratégies de redressement et de modernisation
  
• Exercice : Mise en œuvre des flux de travail CI/CD

Module 5 Automatisation des charges de travail avec les tâches Azure Databricks

• Introduction
  
• Mise en œuvre de la planification et de l'automatisation des tâches
  
• Optimisation du flux de travail avec paramètres
  
• Contrôle de l'administration des personnes à charge
  
• Mise en œuvre de mécanismes de contrôle des erreurs et de nouvelle tentative
  
• Exploration des procédures et instructions recommandées
  
• Exercice : Automatisation du traitement et de l'ingestion des données

Module 6 Gestion de la confidentialité et gouvernance des données avec Azure Databricks

• Introduction
  
• Mise en œuvre de techniques de chiffrement des données dans Azure Databricks
  
• Gestion des contrôles d'accès dans Azure Databricks
  
• Mise en œuvre du masquage et de l'anonymisation des données dans Azure Databricks
  
• Utilisation de cadres de conformité et de partage de données sécurisé dans Azure Databricks
  
• Utilisation de la traçabilité des données et de la gestion des métadonnées
  
• Mise en œuvre de l'automatisation de la gouvernance dans Azure Databricks
  
• Exercice : Mettez-vous en pratique la mise en œuvre du catalogue Unity

Module 7 Utilisation des bases de données SQL dans Azure Databricks

• Introduction
  
• Introduction aux entrepôts de données SQL
  
• Création de bases de données et de tables
  
• Création de requêtes et de panneaux
  
• Exercice : Utilisation d’un magasin SQL dans Azure Databricks

Module 8 : Exécution de notebooks Azure Databricks avec Azure Data Factory

• Introduction
• Description des notebooks et des pipelines Azure Databricks
• Création d'un service lié pour Azure Databricks
• Utilisation d'une activité Notebook dans un pipeline
• Utilisation des paramètres dans un notebook
• Exercice : Exécution d’un notebook Azure Databricks avec Azure Data Factory

Prérequis

Aucun

Langue

• Cours : Anglais / Espagnol