DP-203 : Ingénierie des données sur Microsoft Azure

Microsoft retirera DP-203 : Ingénierie des données sur Microsoft Azure le 31 mars 2025. Il sera remplacé par DP-700 : Ingénieur de données Microsoft Fabric.

Cours DP-203 : Ingénierie des données sur Microsoft Azure

Dans ce cours, les étudiants découvriront l’ingénierie des données en lien avec le travail avec des solutions d’analyse par lots et en temps réel à l’aide des technologies de la plateforme de données Azure. Les étudiants commenceront par apprendre les technologies de traitement et de stockage de base utilisées pour créer une solution analytique. Ils apprendront également à explorer de manière interactive les données stockées dans des fichiers d’un lac de données. Vous découvrirez les différentes techniques d’ingestion qui peuvent être utilisées pour charger des données à l’aide de la fonctionnalité Apache Spark incluse dans Azure Synapse Analytics ou Azure Databricks, ou comment ingérer des données à l’aide des pipelines Azure Data Factory ou Azure Synapse. Les étudiants apprendront également les différentes manières dont ils peuvent transformer les données en utilisant les mêmes technologies utilisées pour ingérer les données. Ils comprendront l’importance de mettre en œuvre la sécurité pour garantir que les données (au repos ou en transit) sont protégées. Ensuite, ils apprendront à créer un système analytique en temps réel pour créer des solutions analytiques en temps réel.

Le cours comprend un examen de certification d'opportunité de dons subventionnés virtuels ! *Promotion valable jusqu'au 31 août, uniquement pour les clients en Espagne. Non applicable en mode auto-apprentissage

Cours destiné à

Le public principal de ce cours est constitué de professionnels des données, d’architectes de données et de professionnels de la veille stratégique qui souhaitent en savoir plus sur l’ingénierie des données et la création de solutions d’analyse à l’aide des technologies de plate-forme de données disponibles dans Microsoft Azure. Le public secondaire de ce cours est constitué d'analystes de données et de scientifiques de données travaillant avec des solutions d'analyse basées sur Microsoft Azure.

Éléments de la formation DP-203

• Introduction à l'ingénierie des données dans Azure (3 unités)

• Création de solutions d'analyse de données avec les pools SQL sans serveur Azure Synapse (4 unités)

• Exécution de tâches d'ingénierie des données avec les pools Apache Spark dans Azure Synapse (3 unités)

• Transfert et transformation de données avec Azure Synapse Analytics Pipelines (2 unités)

• Implémentation d'une solution d'analyse de données avec Azure Synapse Analytics (6 unités)

• Travailler avec des entrepôts de données avec Azure Synapse Analytics (4 unités)

• Utilisation de solutions de traitement transactionnel et analytique hybrides avec Azure Synapse Analytics (3 unités)

• Mise en œuvre d'une solution de streaming de données avec Azure Stream Analytics (3 unités)

• Implémentation d'une solution d'analyse d'entrepôt de données avec Azure Databricks (6 unités)

Contenu du cours DP-203

Module 1 : Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données

Ce module fournit un aperçu des options technologiques de calcul et de stockage Azure disponibles pour les ingénieurs de données créant des charges de travail analytiques. Ce module vous apprend à structurer votre lac de données et à optimiser les fichiers pour les charges de travail exploratoires, séquentielles et par lots. L'étudiant apprendra à organiser le lac de données en niveaux de raffinement des données à mesure qu'il transforme les fichiers via le traitement par lots et par flux. Ensuite, vous apprendrez à créer des index sur vos ensembles de données, tels que des fichiers CSV, JSON et Parquet, et à les utiliser pour potentiellement accélérer les requêtes et les charges de travail.

Leçons

• Introduction à Azure Synapse Analytics

• Présentation d'Azure Databricks

• Introduction à Azure Data Lake Storage

• Description de l'architecture du lac Delta

• Utilisation des flux de données à l'aide d'Azure Stream Analytics

Laboratoire : Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données

• Combinez le traitement par lots et le traitement par flux dans un seul pipeline

• Organiser le lac de données en niveaux de transformation de fichiers

• Indexation du stockage du lac de données pour l'accélération des requêtes et de la charge de travail

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Décrire Azure Synapse Analytics

• Présentation d'Azure Databricks

• Décrire Azure Data Lake Storage

• Décrivez l'architecture du lac Delta

• Décrire Azure Stream Analytics

Module 2 : Exécution de requêtes interactives avec les pools SQL sans serveur Azure Synapse Analytics

Dans ce module, les étudiants apprendront à travailler avec des fichiers stockés dans le lac de données et des sources de fichiers externes à l’aide d’instructions T-SQL exécutées par un pool SQL sans serveur dans Azure Synapse Analytics. Ils interrogeront les fichiers Parquet stockés dans un lac de données, ainsi que les fichiers CSV stockés dans un entrepôt de données externe. Ils créeront ensuite des groupes de sécurité Azure Active Directory et appliqueront l’accès aux fichiers du lac de données via le contrôle d’accès basé sur les rôles (RBAC) et les listes de contrôle d’accès (ACL).

Leçons

• Découverte des fonctionnalités des pools SQL sans serveur Azure Synapse

• Interrogation des données dans le lac à l'aide des pools SQL sans serveur Azure Synapse

• Création d'objets de métadonnées dans les pools SQL sans serveur Azure Synapse

• Protection des données et gestion des utilisateurs dans les pools SQL sans serveur Azure Synapse

Laboratoire : Exécution de requêtes interactives avec des pools SQL sans serveur

• Interroger les données Parquet avec des pools SQL sans serveur

• Créer des tables externes pour les fichiers Parquet et CSV

• Création de vues avec des pools SQL sans serveur

• Sécurisation de l'accès aux données dans un lac de données lors de l'utilisation de pools SQL sans serveur

• Configurer la sécurité du lac de données via le contrôle d'accès basé sur les rôles (RBAC) et les listes de contrôle d'accès (ACL)

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Décrire les fonctionnalités des pools SQL sans serveur Azure Synapse

• Interrogation des données dans le lac à l'aide des pools SQL sans serveur Azure Synapse

• Création d'objets de métadonnées dans les pools SQL sans serveur Azure Synapse

• Protection des données et gestion des utilisateurs dans les pools SQL sans serveur Azure Synapse

Module 3 : Exploration et transformation des données dans Azure Databricks

Ce module vous apprend à utiliser différentes méthodes Apache Spark DataFrame pour explorer et transformer des données dans Azure Databricks. Les étudiants apprendront à utiliser les méthodes DataFrame standard pour explorer et transformer les données. Ils apprendront également à effectuer des tâches plus avancées, telles que la suppression des données en double, la manipulation des valeurs de date et d'heure, le changement de nom des colonnes et l'agrégation des données.

Leçons

• Présentation d'Azure Databricks

• Lecture et écriture de données dans Azure Databricks

• Utilisation des éléments DataFrame dans Azure Databricks

• Utilisation des méthodes DataFrame avancées dans Azure Databricks

Laboratoire : Réalisation d'explorations et de transformations de données dans Azure Databricks

• Utilisez des DataFrames dans Azure Databricks pour explorer et filtrer les données

• Mise en cache des DataFrames pour des requêtes plus rapides ultérieurement

• Éliminer les données en double

• Manipulation des valeurs de date et d'heure

• Supprimer des colonnes d'un DataFrame et les renommer

• Ajout de données stockées dans un DataFrame

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Présentation d'Azure Databricks

• Lecture et écriture de données dans Azure Databricks

• Utilisation des éléments DataFrame dans Azure Databricks

• Utilisation des méthodes DataFrame avancées dans Azure Databricks

Module 4 : Exploration, transformation et chargement de données dans des entrepôts de données avec Apache Spark

Ce module vous apprend à explorer les données stockées dans un lac de données, à transformer les données et à les charger dans un entrepôt de données relationnelles. Les étudiants exploreront les fichiers Parquet et JSON et utiliseront des techniques pour interroger et transformer des fichiers JSON avec des structures hiérarchiques. Ils utiliseront ensuite Apache Spark pour charger les données dans l'entrepôt de données et joindre les données de Parquet dans le lac de données avec les données du pool SQL dédié.

Leçons

• Définition de l'ingénierie Big Data avec Apache Spark dans Azure Synapse Analytics

• Ingestion de données avec les blocs-notes Apache Spark dans Azure Synapse Analytics

• Transformation des données avec les objets DataFrame du pool Apache Spark d'Azure Synapse Analytics

• Intégration de pools SQL et d'Apache Spark dans Azure Synapse Analytics

Laboratoire : Exploration, transformation et chargement de données dans des entrepôts de données avec Apache Spark

• Effectuer des explorations de données dans Synapse Studio

• Ingérer des données avec des blocs-notes Spark dans Azure Synapse Analytics

• Transformez les données avec Azure Synapse Analytics Spark Pool DataFrame

• Intégrer les pools SQL et Spark dans Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Décrire l'ingénierie du Big Data avec Apache Spark dans Azure Synapse Analytics

• Ingestion de données avec les blocs-notes Apache Spark dans Azure Synapse Analytics

• Transformation des données avec les objets DataFrame du pool Apache Spark d'Azure Synapse Analytics

• Intégration de pools SQL et d'Apache Spark dans Azure Synapse Analytics

Module 5 : Ingestion et chargement de données dans des entrepôts de données

Ce module enseigne aux étudiants comment ingérer des données dans un entrepôt de données à l'aide de scripts T-SQL et de pipelines d'intégration Synapse Analytics. Les étudiants apprendront à charger des données dans des pools Synapse SQL dédiés à l'aide de PolyBase et à COPIER à l'aide de T-SQL. Vous apprendrez également à utiliser la gestion de la charge de travail conjointement avec une activité de copie dans un pipeline Azure Synapse pour l’ingestion de données à l’échelle du pétaoctet.

Leçons

• Utilisation des meilleures pratiques pour le chargement de données dans Azure Synapse Analytics

• Ingestion à l'échelle du pétaoctet avec Azure Data Factory

Laboratoire : Ingestion et chargement de données dans des entrepôts de données

• Effectuez une ingestion à l'échelle du pétaoctet avec les pipelines Azure Synapse

• Importer des données avec PolyBase et COPIER en utilisant T-SQL

• Utilisation des meilleures pratiques pour le chargement de données dans Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Utilisation des meilleures pratiques pour le chargement de données dans Azure Synapse Analytics

• Ingestion à l'échelle du pétaoctet avec Azure Data Factory

Module 6 : Transformation des données avec Azure Data Factory ou Azure Synapse Pipelines

Ce module enseigne aux étudiants comment créer des pipelines d'intégration de données pour ingérer des données provenant de plusieurs sources de données, transformer des données à l'aide de flux de données de mappage et effectuer le déplacement de données vers un ou plusieurs récepteurs de données.

Leçons

• Intégration de données avec Azure Data Factory ou Azure Synapse Pipeline

• Effectuez des transformations sans code à grande échelle avec les pipelines Azure Data Factory ou Azure Synapse

Laboratoire : Transformer les données avec les pipelines Azure Data Factory ou Azure Synapse

• Exécutez des transformations sans code à grande échelle avec les pipelines Azure Synapse

• Créer un pipeline de données pour importer des fichiers CSV mal formatés

• Créer des flux de données de mappage

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Effectuer des intégrations de données avec Azure Data Factory

• Effectuez des transformations sans code à grande échelle avec Azure Data Factory

Module 7 : Orchestrer les mouvements et les transformations de données dans les pipelines Azure Synapse

Dans ce module, nous apprendrons à créer des services liés et à orchestrer le déplacement et la transformation des données à l’aide de blocs-notes dans les pipelines Azure Synapse.

Leçons

• Orchestrer les mouvements et les transformations de données dans Azure Data Factory

Laboratoire : Orchestrer les mouvements et les transformations de données dans les pipelines Azure Synapse

• Intégrer les données du bloc-notes aux pipelines Azure Data Factory ou Azure Synapse

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Orchestrer les mouvements et les transformations de données dans les pipelines Azure Synapse

Module 8 : Sécurité complète avec Azure Synapse Analytics

Dans ce module, les étudiants apprendront à sécuriser un espace de travail Synapse Analytics et son infrastructure de support. Ils exploreront SQL Active Directory Manager, géreront les règles de pare-feu IP, géreront les secrets avec Azure Key Vault et accéderont à ces secrets via un service lié à Key Vault et des activités de pipeline. Vous apprendrez également à mettre en œuvre la sécurité au niveau des colonnes et des lignes et le masquage dynamique des données à l'aide de pools SQL dédiés.

Leçons

• Création d'un entrepôt de données dans Azure Synapse Analytics

• Configuration et gestion des secrets dans Azure Key Vault

• Mise en œuvre de contrôles de conformité pour les données sensibles

Laboratoire : Sécurité complète avec Azure Synapse Analytics

• Protection de l'infrastructure derrière Azure Synapse Analytics

• Sécurisez votre espace de travail Azure Synapse Analytics et vos services gérés

• Protégez les données de votre espace de travail Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Création d'un entrepôt de données dans Azure Synapse Analytics

• Configuration et gestion des secrets dans Azure Key Vault

• Mise en œuvre de contrôles de conformité pour les données sensibles

Module 9 : Prise en charge du traitement d'analyse transactionnelle hybride avec Azure Synapse Link

Dans ce module, les étudiants apprendront comment Azure Synapse Link permet une connectivité transparente entre un compte Azure Cosmos DB et un espace de travail Synapse. Les étudiants verront comment activer et configurer Synapse Link, puis comment interroger l'entrepôt analytique Azure Cosmos DB à l'aide d'Apache Spark et de SQL sans serveur.

Leçons

• Conception d'un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Requête Azure Cosmos DB avec pools Apache Spark

• Requête Azure Cosmos DB avec pools SQL sans serveur

Laboratoire : Prise en charge du traitement analytique transactionnel hybride avec Azure Synapse Link

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Interroger Azure Cosmos DB avec Apache Spark pour Synapse Analytics

• Interroger Azure Cosmos DB avec des pools SQL sans serveur pour Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Conception d'un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Interroger Azure Cosmos DB avec Apache Spark pour Azure Synapse Analytics

• Interroger Azure Cosmos DB avec SQL sans serveur pour Azure Synapse Analytics

Module 10 : Traitement de flux en temps réel avec Stream Analytics

Dans ce module, les étudiants apprendront à traiter les données de flux avec Azure Stream Analytics. Ils ingéreront les données de télémétrie des véhicules dans Event Hubs, puis les traiteront en temps réel à l’aide de plusieurs fonctions basées sur des fenêtres dans Azure Stream Analytics. Ils enverront les données à Azure Synapse Analytics. Enfin, les étudiants apprendront à faire évoluer le travail de Stream Analytics pour augmenter les performances.

Leçons

• Activer une messagerie fiable pour les applications Big Data avec Azure Event Hubs

• Utilisation des flux de données à l'aide d'Azure Stream Analytics

• Ingestion de flux de données avec Azure Stream Analytics

Laboratoire : Traitement de flux en temps réel avec Stream Analytics

• Utilisez Stream Analytics pour traiter les données en temps réel des Event Hubs

• Utilisez les fonctions basées sur la fenêtre Stream Analytics pour créer des agrégats et les envoyer à Synapse Analytics

• Mise à l'échelle des tâches Azure Stream Analytics pour augmenter les performances grâce au partitionnement

• Repartitionnement de l'entrée du flux pour optimiser la parallélisation

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Activer une messagerie fiable pour les applications Big Data avec Azure Event Hubs

• Utilisation des flux de données à l'aide d'Azure Stream Analytics

• Ingestion de flux de données avec Azure Stream Analytics

Module 11 : Création d'une solution de traitement de flux avec Event Hubs et Azure Databricks

Dans ce module, les étudiants apprendront à ingérer et à traiter des données de flux à grande échelle à l’aide d’Event Hubs et du streaming structuré Spark dans Azure Databricks. Les étudiants apprendront les utilisations et les fonctionnalités clés du streaming structuré. Ils mettront en œuvre des fenêtres coulissantes pour ajouter des fragments de données et appliquer des filigranes pour supprimer les données obsolètes. Enfin, les étudiants se connecteront à Event Hubs pour lire et écrire des flux.

Leçons

• Traitement des données en streaming avec Azure Databricks Structured Streaming

Laboratoire : Création d'une solution de traitement de flux avec Event Hubs et Azure Databricks

• Analyser les principales utilisations et fonctionnalités du streaming structuré.

• Diffusion de données à partir d'un fichier et écriture sur un système de fichiers distribué

• Utilisez des fenêtres coulissantes pour ajouter des fragments de données au lieu de toutes les données

• Appliquer des filigranes pour supprimer les données obsolètes

• Connectez-vous aux flux de lecture et d'écriture d'Event Hubs

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Traitement des données en streaming avec Azure Databricks Structured Streaming

Prérequis

Les étudiants qui réussissent commencent ce cours avec une formation en cloud computing et en fondamentaux des données, ainsi qu'une expérience professionnelle avec des solutions de données.

Réaliser notamment :

• AZ-900 : Principes fondamentaux d'Azure

• DP-900 : Principes fondamentaux des données dans Microsoft Azure

Langue

• Cours : Anglais / Espagnol

• Laboratoires : anglais / espagnol

Certification Microsoft Associate : Azure Data Engineer Associate

Microsoft certifié : Azure Data Engineer Associate

Démontrer une compréhension des tâches courantes d’ingénierie des données pour déployer et gérer les charges de travail d’ingénierie des données dans Microsoft Azure à l’aide de divers services Azure.

Niveau : Intermédiaire
Rôle : Ingénieur de données
Produit : Azure
Sujet : Données et IA