DP-203 : Ingénierie des données sur Microsoft Azure

€295.00

________________________________________________________________

Souhaitez-vous suivre cette formation selon une autre modalité ?
Contactez-nous

Autres modalités : À distance - En présentiel

________________________________________________________________

⚠️ Cours retiré : Microsoft a retiré le matériel DP-203 le 31 décembre 2025. Le contenu reste disponible à titre de référence. La certification a été retirée le 31 mars 2025. Le cours de remplacement est DP-700 : Microsoft Fabric Data Engineer →

Cours DP-203 : Data Engineering on Microsoft Azure

Dans ce cours, l'apprenant découvrira l'ingénierie des données en ce qui concerne le travail avec des solutions analytiques par lots et en temps réel en utilisant les technologies de plateforme de données d'Azure. Les apprenants commenceront par découvrir les technologies de traitement et de stockage de base utilisées pour créer une solution analytique. Ils apprendront également à explorer de manière interactive les données stockées dans des fichiers d'un lac de données. Ils découvriront les différentes techniques d'ingestion pouvant être utilisées pour charger des données à l'aide de la fonctionnalité Apache Spark incluse dans Azure Synapse Analytics ou Azure Databricks, ou comment ingérer des données à l'aide de pipelines Azure Data Factory ou Azure Synapse. Les apprenants découvriront également les différentes manières dont ils peuvent transformer les données à l'aide des mêmes technologies que celles utilisées pour ingérer des données. Ils comprendront l'importance de mettre en œuvre la sécurité pour garantir que les données (au repos ou en transit) sont protégées. Par la suite, il leur sera expliqué comment créer un système analytique en temps réel pour créer des solutions analytiques en temps réel.

Durée du cours DP-203
Salle de formation virtuelle DP-203

Cours destiné à

Le public principal de ce cours est composé de professionnels des données, d'architectes de données et de professionnels du business intelligence qui souhaitent obtenir des informations sur l'ingénierie des données et la création de solutions analytiques à l'aide des technologies de plateforme de données disponibles dans Microsoft Azure. Le public secondaire de ce cours est composé d'analystes de données et de scientifiques des données qui travaillent avec des solutions analytiques basées sur Microsoft Azure.

Éléments de la formation DP-203

  • Introduction à l'ingénierie des données dans Azure (3 unités)

  • Création de solutions d'analyse de données avec les pools SQL sans serveur d'Azure Synapse (4 unités)

  • Réalisation de tâches d'ingénierie des données avec les clusters Apache Spark d'Azure Synapse (3 unités)

  • Transfert et transformation des données avec les pipelines Azure Synapse Analytics (2 unités)

  • Mise en œuvre d'une solution d'analyse de données avec Azure Synapse Analytics (6 unités)

  • Travail avec les stockages de données avec Azure Synapse Analytics (4 unités)

  • Utilisation de solutions hybrides de traitement analytique et transactionnel avec Azure Synapse Analytics (3 unités)

  • Mise en œuvre d'une solution de streaming de données avec Azure Stream Analytics (3 unités)

  • Mise en œuvre d'une solution d'analyse de data lake avec Azure Databricks (6 unités)


    Contenu du cours DP-203

    Module 1 : Exploration des options de traitement et de stockage des charges de travail d'ingénierie des données

    Ce module fournit des informations générales sur les options de technologie de traitement et de stockage Azure disponibles pour les ingénieurs des données qui créent des charges de travail analytiques. Ce module enseigne comment structurer le data lake et optimiser les fichiers pour les charges de travail d'exploration, de streaming et par lots. L'apprenant apprendra à organiser le data lake en niveaux de raffinement des données à mesure qu'il transforme les fichiers par traitement par lots et streaming. Ensuite, il apprendra à créer des index dans ses ensembles de données, tels que des fichiers CSV, JSON et Parquet, et à les utiliser pour une éventuelle accélération des requêtes et des charges de travail.

    Leçons

    • Introduction à Azure Synapse Analytics

    • Description d'Azure Databricks

    • Introduction à Azure Data Lake Storage

    • Description de l'architecture Delta Lake

    • Travail avec les flux de données à l'aide d'Azure Stream Analytics

    Laboratoire : Exploration des options de traitement et de stockage des charges de travail d'ingénierie des données

    • Combiner le traitement par lots et le streaming dans un même pipeline

    • Organiser le data lake en niveaux de transformation de fichiers

    • Indexer le stockage du data lake pour l'accélération des requêtes et des charges de travail

    Après avoir terminé ce module, les apprenants pourront faire ce qui suit :

    • Décrire Azure Synapse Analytics

    • Décrire Azure Databricks

    • Décrire Azure Data Lake Storage

    • Décrire l'architecture Delta Lake

    • Décrire Azure Stream Analytics

    Module 2 : Exécution de requêtes interactives avec les pools SQL sans serveur d'Azure Synapse Analytics

    Dans ce module, les apprenants apprendront à travailler avec des fichiers stockés dans le data lake et dans des sources de fichiers externes à l'aide d'instructions T-SQL exécutées par un pool SQL sans serveur dans Azure Synapse Analytics. Ils interrogeront les fichiers Parquet stockés dans un data lake, ainsi que les fichiers CSV stockés dans un entrepôt de données externe. Ensuite, ils créeront des groupes de sécurité Azure Active Directory et exigeront l'accès aux fichiers du data lake via le contrôle d'accès basé sur les rôles (RBAC) et les listes de contrôle d'accès (ACL).

    Leçons

    • Exploration des capacités des pools SQL sans serveur d'Azure Synapse

    • Requêtage des données du data lake à l'aide des pools SQL sans serveur d'Azure Synapse

    • Création d'objets de métadonnées dans les pools SQL sans serveur d'Azure Synapse

    • Protection des données et gestion des utilisateurs dans les pools SQL sans serveur d'Azure Synapse

    Laboratoire : Exécution de requêtes interactives avec les pools SQL sans serveur

    • Requêter des données Parquet avec les pools SQL sans serveur

    • Créer des tables externes pour les fichiers Parquet et CSV

    • Créer des vues avec les pools SQL sans serveur

    • Protéger l'accès aux données dans un data lake lorsque les pools SQL sans serveur sont utilisés

    • Configurer la sécurité du data lake via le contrôle d'accès basé sur les rôles (RBAC) et les listes de contrôle d'accès (ACL)

    Après avoir terminé ce module, les apprenants pourront faire ce qui suit :

    • Décrire les capacités des pools SQL sans serveur d'Azure Synapse

    • Requêter des données du data lake à l'aide des pools SQL sans serveur d'Azure Synapse

    • Création d'objets de métadonnées dans les pools SQL sans serveur d'Azure Synapse

    • Protection des données et gestion des utilisateurs dans les pools SQL sans serveur d'Azure Synapse

    Module 3 : Exploration et transformation des données dans Azure Databricks

    Ce module enseigne l'utilisation de plusieurs méthodes DataFrame d'Apache Spark pour explorer et transformer les données dans Azure Databricks. Les apprenants apprendront à utiliser les méthodes DataFrame standard pour explorer et transformer les données. Ils apprendront également à effectuer des tâches plus avancées, telles que la suppression des données en double, la manipulation des valeurs de date et d'heure, le renommage des colonnes et l'ajout de données.

    Leçons

    • Description d'Azure Databricks

    • Lecture et écriture des données dans Azure Databricks

    • Travail avec les objets DataFrame dans Azure Databricks

    • Travail avec les méthodes DataFrame avancées dans Azure Databricks

    Laboratoire : Réalisation d'explorations et de transformations de données dans Azure Databricks

    • Utiliser les DataFrames dans Azure Databricks pour explorer et filtrer les données

    • Mettre les DataFrames en cache pour effectuer des requêtes plus rapides par la suite

    • Suppression des données en double

    • Manipulation des valeurs de date et d'heure

    • Supprimer des colonnes de DataFrame et les renommer

    • Ajouter des données stockées dans un DataFrame

    Après avoir terminé ce module, les apprenants pourront faire ce qui suit :

    • Décrire Azure Databricks

    • Lecture et écriture des données dans Azure Databricks

    • Travail avec les objets DataFrame dans Azure Databricks

    • Travail avec les méthodes DataFrame avancées dans Azure Databricks

    Module 4 : Exploration, transformation et chargement des données dans les entrepôts de données avec Apache Spark

    Ce module enseigne comment explorer les données stockées dans un data lake, les transformer et les charger dans un entrepôt de données relationnel. Les apprenants exploreront des fichiers Parquet et JSON et utiliseront des techniques pour interroger et transformer des fichiers JSON dotés de structures hiérarchiques. Ensuite, ils utiliseront Apache Spark pour charger des données dans l'entrepôt de données et joindront des données Parquet du data lake avec des données du pool SQL dédié.

    Leçons

    • Définition de l'ingénierie des mégadonnées avec Apache Spark dans Azure Synapse Analytics

    • Ingestion des données avec des carnets Apache Spark dans Azure Synapse Analytics

    • Transformation des données avec les objets DataFrame des clusters Apache Spark d'Azure Synapse Analytics

    • Intégration des pools SQL et d'Apache Spark dans Azure Synapse Analytics

    Laboratoire : Exploration, transformation et chargement des données dans les entrepôts de données avec Apache Spark

    • Réaliser des explorations de données dans Synapse Studio

    • Ingérer des données avec des carnets Spark dans Azure Synapse Analytics

    • Transformer des données avec les DataFrames des clusters Spark d'Azure Synapse Analytics

    • Intégrer les pools SQL et Spark dans Azure Synapse Analytics

    Après avoir terminé ce module, les apprenants pourront faire ce qui suit :

    • Décrire l'ingénierie des mégadonnées avec Apache Spark dans Azure Synapse Analytics

    • Ingestion des données avec des carnets Apache Spark dans Azure Synapse Analytics

    • Transformation des données avec les objets DataFrame des clusters Apache Spark d'Azure Synapse Analytics

    • Intégration des pools SQL et d'Apache Spark dans Azure Synapse Analytics

    Module 5 : Ingestion et chargement des données dans les entrepôts de données

    Dans ce module, les apprenants apprendront à ingérer des données dans l'entrepôt de données à l'aide de scripts T-SQL et de pipelines d'intégration Synapse Analytics. Les apprenants apprendront à charger des données dans les pools SQL dédiés de Synapse avec PolyBase et COPY à l'aide de T-SQL. Ils apprendront également à utiliser l'administration des charges de travail avec une activité de copie dans un pipeline Azure Synapse pour l'ingestion des données à l'échelle du pétaoctet.

    Leçons

    • Utilisation des bonnes pratiques pour le chargement des données dans Azure Synapse Analytics

    • Ingestion à l'échelle du pétaoctet avec Azure Data Factory

    Laboratoire : Ingestion et chargement des données dans les entrepôts de données

    • Réaliser des ingestions à l'échelle du pétaoctet avec les pipelines Azure Synapse

    • Importer des données avec PolyBase et COPY à l'aide de T-SQL

    • Utilisation des bonnes pratiques pour le chargement des données dans Azure Synapse Analytics

    Après avoir terminé ce module, les apprenants pourront faire ce qui suit :

    • Utilisation des bonnes pratiques pour le chargement des données dans Azure Synapse Analytics

    • Ingestion à l'échelle du pétaoctet avec Azure Data Factory

    Module 6 : Transformation des données avec les pipelines Azure Data Factory ou Azure Synapse

    Dans ce module, les apprenants apprendront à créer des pipelines d'intégration de données pour ingérer depuis plusieurs sources de données, transformer les données à l'aide de flux de données d'attribution et effectuer des transferts de données vers un ou plusieurs destinataires de données.

    Leçons

    • Intégration des données avec Azure Data Factory ou un pipeline Azure Synapse

    • Réalisation de transformations sans code et à l'échelle avec les pipelines Azure Data Factory ou Azure Synapse

    Laboratoire : Transformation des données avec les pipelines Azure Data Factory ou Azure Synapse

    • Exécuter des transformations sans code et à l'échelle avec les pipelines Azure Synapse

    • Créer un pipeline de données pour importer des fichiers CSV mal formatés

    • Créer des flux de données d'attribution

    Après avoir terminé ce module, les apprenants pourront faire ce qui suit :

    • Réaliser des intégrations de données avec Azure Data Factory

    • Réalisation de transformations sans code et à l'échelle avec Azure Data Factory

    Module 7 : Organisation des transferts et des transformations de données dans les pipelines Azure Synapse

    Dans ce module, nous apprendrons à créer des liens de service et à organiser le transfert et la transformation des données à l'aide de carnets dans les pipelines Azure Synapse.

    Leçons

    • Orchestration des transferts et des transformations de données dans Azure Data Factory

    Laboratoire : Organisation des transferts et des transformations de données dans les pipelines Azure Synapse

    • Intégrer des données de carnets avec les pipelines Azure Data Factory ou Azure Synapse

    Après avoir terminé ce module, les apprenants pourront faire ce qui suit :

    • Organiser les transferts et les transformations de données dans les pipelines Azure Synapse

    Module 8 : Sécurité de bout en bout avec Azure Synapse Analytics

    Dans ce module, les apprenants apprendront à protéger un espace de travail Synapse Analytics et son infrastructure de support. Ils analyseront l'administrateur SQL Active Directory, géreront les règles de pare-feu IP, géreront les secrets avec Azure Key Vault et accéderont à ces secrets via un service lié de Key Vault et des activités de pipeline. Ils apprendront également à mettre en œuvre la sécurité au niveau de la colonne et de la ligne, ainsi que le masquage dynamique des données en utilisant des groupes SQL dédiés.

    Leçons

    • Création d'un espace de stockage de données dans Azure Synapse Analytics

    • Configuration et gestion des secrets dans Azure Key Vault

    • Mise en œuvre de contrôles de conformité pour les données confidentielles

    Laboratoire : Sécurité de bout en bout avec Azure Synapse Analytics

    • Protéger l'infrastructure sous-jacente d'Azure Synapse Analytics

    • Protéger l'espace de travail et les services gérés d'Azure Synapse Analytics

    • Protéger les données de l'espace de travail d'Azure Synapse Analytics

    Après avoir terminé ce module, les apprenants seront capables de faire ce qui suit :

    • Création d'un espace de stockage de données dans Azure Synapse Analytics

    • Configuration et gestion des secrets dans Azure Key Vault

    • Mise en œuvre de contrôles de conformité pour les données confidentielles

    Dans ce module, les apprenants apprendront comment Azure Synapse Link permet une connectivité transparente entre un compte Azure Cosmos DB et un espace de travail Synapse. Les apprenants verront comment activer et configurer Synapse Link, puis comment interroger l'entrepôt analytique d'Azure Cosmos DB à l'aide d'Apache Spark et de SQL sans serveur.

    Leçons

    • Conception du traitement analytique et transactionnel hybride avec Azure Synapse Analytics

    • Configuration d'Azure Synapse Link avec Azure Cosmos DB

    • Interrogation d'Azure Cosmos DB avec des groupes Apache Spark

    • Interrogation d'Azure Cosmos DB avec des groupes SQL sans serveur

    • Configuration d'Azure Synapse Link avec Azure Cosmos DB

    • Interroger Azure Cosmos DB avec Apache Spark pour Synapse Analytics

    • Interroger Azure Cosmos DB avec des groupes SQL sans serveur pour Azure Synapse Analytics

    Après avoir terminé ce module, les apprenants seront capables de faire ce qui suit :

    • Conception du traitement analytique et transactionnel hybride avec Azure Synapse Analytics

    • Configuration d'Azure Synapse Link avec Azure Cosmos DB

    • Interrogation d'Azure Cosmos DB avec Apache Spark pour Azure Synapse Analytics

    • Interroger Azure Cosmos DB avec SQL sans serveur pour Azure Synapse Analytics

    Module 10 : Traitement de flux en temps réel avec Stream Analytics

    Dans ce module, les apprenants apprendront à traiter des données de flux avec Azure Stream Analytics. Ils ingéreront des données de télémétrie de véhicules dans Event Hubs, puis les traiteront en temps réel à l'aide de plusieurs fonctions basées sur des fenêtres dans Azure Stream Analytics. Ils enverront les données vers Azure Synapse Analytics. Enfin, les apprenants apprendront à mettre à l'échelle les travaux Stream Analytics pour améliorer les performances.

    Leçons

    • Activation de la messagerie fiable pour les applications Big Data avec Azure Event Hubs

    • Traitement de flux de données avec Azure Stream Analytics

    • Ingestion de flux de données avec Azure Stream Analytics

    Laboratoire : Traitement de flux en temps réel avec Stream Analytics

    • Utiliser Stream Analytics pour traiter des données en temps réel depuis Event Hubs

    • Utiliser les fonctions basées sur des fenêtres de Stream Analytics pour créer des agrégats et les envoyer vers Synapse Analytics

    • Mettre à l'échelle les travaux d'Azure Stream Analytics pour améliorer les performances grâce à la création de partitions

    • Repartitionner l'entrée de flux pour optimiser la parallélisation

    Après avoir terminé ce module, les apprenants seront capables de faire ce qui suit :

    • Activation de la messagerie fiable pour les applications Big Data avec Azure Event Hubs

    • Traitement de flux de données avec Azure Stream Analytics

    • Ingestion de flux de données avec Azure Stream Analytics

    Module 11 : Création d'une solution de traitement de flux avec Event Hubs et Azure Databricks

    Dans ce module, les apprenants apprendront à ingérer et traiter des flux de données à grande échelle avec Event Hubs et le streaming structuré de Spark dans Azure Databricks. Les apprenants découvriront les cas d'utilisation et les principales caractéristiques du streaming structuré. Ils mettront en œuvre des fenêtres glissantes pour agréger des segments de données et appliqueront des marques d'eau pour supprimer les données obsolètes. Enfin, les apprenants se connecteront à Event Hubs pour lire et écrire des flux.

    Leçons

    • Traitement de données de flux avec Structured Streaming d'Azure Databricks

    Laboratoire : Création d'une solution de traitement de flux avec Event Hubs et Azure Databricks

    • Analyser les cas d'utilisation et les principales caractéristiques du streaming structuré.

    • Transmettre des données à partir d'un fichier et les écrire dans un système de fichiers distribué

    • Utiliser des fenêtres glissantes pour agréger des segments de données plutôt que l'ensemble des données

    • Appliquer des marques d'eau pour supprimer les données obsolètes

    • Se connecter aux flux de lecture et d'écriture d'Event Hubs

    Après avoir terminé ce module, les apprenants seront capables de faire ce qui suit :

    • Traitement de données de flux avec Structured Streaming d'Azure Databricks


    Prérequis

    Les apprenants admissibles commencent ce cours avec des connaissances en informatique en nuage et en bases de données, ainsi qu'une expérience professionnelle avec des solutions de données. 

    Plus précisément :

    • AZ-900 : Fondamentaux d'Azure

    • DP-900 : Fondamentaux des données dans Microsoft Azure

     

    Langue

    • Cours : Anglais / espagnol

    • Laboratoires : Anglais / espagnol

     

      Certification Microsoft Associate : Azure Data Engineer Associate

      Microsoft Certified: Azure Developer Associate

      Microsoft Certified: Azure Data Engineer Associate

      Démontrer la compréhension des tâches courantes d'ingénierie des données pour mettre en œuvre et gérer des charges de travail d'ingénierie des données dans Microsoft Azure à l'aide d'une série de services Azure.

      Niveau : Intermédiaire
      Rôle : Ingénieur des données
      Produit : Azure
      Sujet : Données et IA

      Informations liées à la formation

      Soporte siempre a tu lado

      Accompagnement à la formation

      Toujours à tes côtés

      Modalidades Formativas

      Modalités de formation

      Autoapprentissage - Virtuel - En personne - Téléprésence

      bonificaciones

      Bonus

      Pour les entreprises