DP-203 : Ingénierie des données sur Microsoft Azure

Microsoft retirera le cours DP-203 : Ingénierie des données sur Microsoft Azure le 31 décembre 2025. Veuillez noter que la certification a été retirée le 31 mars 2025. Elle sera remplacée par le cours DP-700 : Ingénieur de données Microsoft Fabric .

Cours DP-203 : Ingénierie des données sur Microsoft Azure

Dans ce cours, les étudiants découvriront l'ingénierie des données appliquée aux solutions d'analyse par lots et en temps réel utilisant les technologies de la plateforme de données Azure. Ils commenceront par étudier les technologies de calcul et de stockage fondamentales nécessaires à la création d'une solution analytique. Ils apprendront également à explorer de manière interactive les données stockées dans des fichiers au sein d'un lac de données. Ils se familiariseront avec les différentes techniques d'ingestion permettant de charger des données à l'aide des fonctionnalités Apache Spark incluses dans Azure Synapse Analytics ou Azure Databricks, ou encore d'ingérer des données à l'aide d'Azure Data Factory ou des pipelines Azure Synapse. Les étudiants découvriront également les différentes méthodes de transformation des données à l'aide des mêmes technologies utilisées pour l'ingestion. Ils comprendront l'importance de la mise en œuvre de mesures de sécurité pour garantir la protection des données (au repos ou en transit). Enfin, ils apprendront à concevoir un système d'analyse en temps réel pour créer des solutions d'analyse en temps réel.

Cours destiné à

Ce cours s'adresse principalement aux professionnels des données, aux architectes de données et aux spécialistes de la veille stratégique qui souhaitent se former à l'ingénierie des données et à la création de solutions analytiques à l'aide des technologies de la plateforme de données Microsoft Azure. Il s'adresse également aux analystes et aux scientifiques des données qui utilisent des solutions analytiques basées sur Microsoft Azure.

Éléments de la formation DP-203

• Introduction à l'ingénierie des données dans Azure (3 unités)

• Création de solutions d'analyse de données avec les groupes SQL Azure Synapse sans serveur (4 unités)

• Réalisation de tâches d'ingénierie des données avec les groupes Apache Spark dans Azure Synapse (3 unités)

• Transfert et transformation de données à l'aide des pipelines Azure Synapse Analytics (2 unités)

• Mise en œuvre d'une solution d'analyse de données avec Azure Synapse Analytics (6 unités)

• Utilisation du stockage de données avec Azure Synapse Analytics (4 unités)

• Utilisation de solutions de traitement analytique et transactionnel hybrides via Azure Synapse Analytics (3 unités)

• Mise en œuvre d'une solution de flux de données avec Azure Stream Analytics (3 unités)

• Mise en œuvre d'une solution d'analyse d'entrepôt de données avec Azure Databricks (6 unités)

Contenu du cours DP-203

Module 1 : Exploration des options de traitement et de stockage pour les charges de travail d’ingénierie des données

Ce module présente les options de calcul et de stockage Azure disponibles pour les ingénieurs de données qui développent des charges de travail analytiques. Il explique comment structurer votre lac de données et optimiser les fichiers pour l'exploration, le séquençage et les traitements par lots. Vous apprendrez à organiser votre lac de données en différents niveaux de raffinement lors de la transformation des fichiers par traitement par lots et séquençage. Vous découvrirez ensuite comment créer des index sur vos jeux de données, tels que les fichiers CSV, JSON et Parquet, et comment les utiliser pour potentiellement accélérer les requêtes et les charges de travail.

Leçons

• Introduction à Azure Synapse Analytics

• Description d'Azure Databricks

• Introduction à Azure Data Lake Storage

• Description de l'architecture du lac Delta

• Je travaille avec des flux de données à l'aide d'Azure Stream Analytics.

Laboratoire : Exploration des options de traitement et de stockage pour les charges de travail d'ingénierie des données

• Combiner le traitement par lots et le traitement séquentiel dans le même pipeline

• Organiser le lac de données en niveaux de transformation de fichiers

• Indexation du stockage du lac de données pour accélérer les requêtes et les charges de travail

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Décrivez Azure Synapse Analytics

• Description d'Azure Databricks

• Décrivez Azure Data Lake Storage

• Décrivez l'architecture du lac Delta.

• Décrivez Azure Stream Analytics

Module 2 : Exécution de requêtes interactives avec des pools SQL sans serveur dans Azure Synapse Analytics

Dans ce module, les étudiants apprendront à manipuler des fichiers stockés dans le lac de données et des sources de fichiers externes à l'aide d'instructions T-SQL exécutées par un pool SQL sans serveur dans Azure Synapse Analytics. Ils interrogeront des fichiers Parquet stockés dans un lac de données, ainsi que des fichiers CSV stockés dans un entrepôt de données externe. Ils créeront ensuite des groupes de sécurité Azure Active Directory et mettront en œuvre le contrôle d'accès aux fichiers du lac de données à l'aide du contrôle d'accès basé sur les rôles (RBAC) et des listes de contrôle d'accès (ACL).

Leçons

• Exploration des fonctionnalités des pools SQL sans serveur d'Azure Synapse

• Interrogation des données du lac à l'aide de pools SQL Azure Synapse sans serveur

• Création d'objets de métadonnées dans les groupes SQL Azure Synapse sans serveur

• Protection des données et gestion des utilisateurs dans les groupes Azure Synapse SQL sans serveur

Atelier pratique : Exécution de requêtes interactives avec des pools SQL sans serveur

• Interroger des données Parquet avec des groupes SQL sans serveur

• Créer des tables externes pour les fichiers Parquet et CSV

• Créer des vues avec des groupes SQL sans serveur

• Protection de l'accès aux données dans un lac de données lors de l'utilisation de pools SQL sans serveur

• Configurez la sécurité du lac de données via le contrôle d'accès basé sur les rôles (RBAC) et les listes de contrôle d'accès (ACL).

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Décrivez les fonctionnalités des groupes SQL sans serveur Azure Synapse

• Interrogation des données du lac à l'aide de pools SQL Azure Synapse sans serveur

• Création d'objets de métadonnées dans les groupes SQL Azure Synapse sans serveur

• Protection des données et gestion des utilisateurs dans les groupes Azure Synapse SQL sans serveur

Module 3 : Exploration et transformation des données dans Azure Databricks

Ce module vous enseigne comment utiliser différentes méthodes DataFrame d'Apache Spark pour explorer et transformer des données dans Azure Databricks. Vous apprendrez à utiliser les méthodes DataFrame standard pour explorer et transformer des données, ainsi qu'à effectuer des tâches plus avancées, telles que la suppression des doublons, la manipulation des dates et heures, le renommage des colonnes et l'agrégation des données.

Leçons

• Description d'Azure Databricks

• Lecture et écriture de données dans Azure Databricks

• Je travaille avec des éléments DataFrame dans Azure Databricks.

• Je travaille avec des méthodes avancées de DataFrame dans Azure Databricks.

Atelier pratique : Exploration et transformation de données dans Azure Databricks

• Utilisez les DataFrames dans Azure Databricks pour explorer et filtrer les données.

• Stockez les DataFrames dans un cache pour effectuer des requêtes plus rapides ultérieurement.

• Suppression des données en double

• Manipulation des valeurs de date et d'heure

• Supprimez les colonnes du DataFrame et renommez-les.

• Ajouter les données stockées dans un DataFrame

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Description d'Azure Databricks

• Lecture et écriture de données dans Azure Databricks

• Je travaille avec des éléments DataFrame dans Azure Databricks.

• Je travaille avec des méthodes avancées de DataFrame dans Azure Databricks.

Module 4 : Exploration, transformation et chargement de données dans des entrepôts de données avec Apache Spark

Ce module enseigne comment explorer les données stockées dans un lac de données, les transformer et les charger dans un entrepôt de données relationnel. Les étudiants exploreront les fichiers Parquet et JSON et utiliseront des techniques pour interroger et transformer des fichiers JSON à structure hiérarchique. Ils utiliseront ensuite Apache Spark pour charger les données dans l'entrepôt de données et fusionner les données Parquet du lac de données avec les données d'un pool SQL dédié.

Leçons

• Définition de l'ingénierie du Big Data avec Apache Spark dans Azure Synapse Analytics

• Ingestion de données avec des notebooks Apache Spark dans Azure Synapse Analytics

• Transformation de données avec des objets DataFrame issus de groupes Apache Spark dans Azure Synapse Analytics

• Intégration des groupes SQL et d'Apache Spark dans Azure Synapse Analytics

TP : Exploration, transformation et chargement de données dans des entrepôts de données avec Apache Spark

• Effectuez des explorations de données dans Synapse Studio

• Ingérer des données avec des notebooks Spark dans Azure Synapse Analytics

• Transformer des données avec les DataFrames Spark Groups d'Azure Synapse Analytics

• Intégrez les groupes SQL et Spark dans Azure Synapse Analytics.

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Décrire l'ingénierie des mégadonnées avec Apache Spark dans Azure Synapse Analytics

• Ingestion de données avec des notebooks Apache Spark dans Azure Synapse Analytics

• Transformation de données avec des objets DataFrame issus de groupes Apache Spark dans Azure Synapse Analytics

• Intégration des groupes SQL et d'Apache Spark dans Azure Synapse Analytics

Module 5 : Ingestion et chargement des données dans le stockage des données

Ce module enseigne aux étudiants comment ingérer des données dans un système de stockage à l'aide de scripts T-SQL et de pipelines d'intégration Synapse Analytics. Ils apprendront à charger des données dans des pools SQL Synapse dédiés avec PolyBase et à utiliser la commande COPY en T-SQL. Ils apprendront également à gérer la charge de travail conjointement à une activité de copie dans un pipeline Azure Synapse pour l'ingestion de données à l'échelle du pétaoctet.

Leçons

• Utiliser les bonnes pratiques pour charger des données dans Azure Synapse Analytics

• Ingérez des données à l'échelle du pétaoctet avec Azure Data Factory

Laboratoire : Ingestion et chargement des données dans les systèmes de stockage de données

• Effectuez des ingestions à l'échelle du pétaoctet avec les pipelines Azure Synapse

• Importer des données avec PolyBase et COPIER en utilisant T-SQL

• Utiliser les bonnes pratiques pour charger des données dans Azure Synapse Analytics

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Utiliser les bonnes pratiques pour charger des données dans Azure Synapse Analytics

• Ingérez des données à l'échelle du pétaoctet avec Azure Data Factory

Module 6 : Transformation des données avec Azure Data Factory ou les pipelines Azure Synapse

Ce module enseigne aux étudiants comment créer des pipelines d'intégration de données pour ingérer des données provenant de sources multiples, transformer ces données à l'aide de flux de données d'allocation et effectuer des transferts de données vers un ou plusieurs destinataires.

Leçons

• Intégration de données avec un pipeline Azure Data Factory ou Azure Synapse

• L’exécution de transformations sans code est désormais possible grâce aux pipelines Azure Data Factory ou Azure Synapse.

Atelier : Transformation de données à l'aide d'Azure Data Factory ou de pipelines Azure Synapse

• L'exécution de transformations sans code est désormais compatible avec les pipelines Azure Synapse.

• Créer un pipeline de données pour importer des fichiers CSV mal formatés.

• Créer des flux de données d'allocation

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Effectuez des intégrations de données avec Azure Data Factory

• Les transformations sans code sont désormais compatibles avec Azure Data Factory.

Module 7 : Organisation des mouvements et des transformations de données dans les pipelines Azure Synapse

Dans ce module, nous apprendrons à créer des services liés et à organiser le déplacement et la transformation des données à l'aide de notebooks dans les pipelines Azure Synapse.

Leçons

• Orchestration des mouvements et des transformations de données dans Azure Data Factory

Atelier : Organisation des mouvements et des transformations de données dans les pipelines Azure Synapse

• Intégrez les données de Notebook avec Azure Data Factory ou les pipelines Azure Synapse.

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Organisez les mouvements et les transformations de données dans les pipelines Azure Synapse

Module 8 : Sécurité complète avec Azure Synapse Analytics

Dans ce module, les étudiants apprendront à sécuriser un espace de travail Synapse Analytics et son infrastructure. Ils analyseront le gestionnaire Active Directory SQL, géreront les règles de pare-feu IP, les secrets avec Azure Key Vault et y accéderont via un service Key Vault et des activités de pipeline. Ils apprendront également à implémenter la sécurité au niveau des colonnes et des lignes, ainsi que le masquage dynamique des données à l'aide de groupes SQL dédiés.

Leçons

• Création d'un entrepôt de données dans Azure Synapse Analytics

• Configuration et gestion des secrets dans Azure Key Vault

• Mise en œuvre de contrôles de conformité pour les données confidentielles

Atelier : Sécurité complète avec Azure Synapse Analytics

• Protection de l'infrastructure sous-jacente à Azure Synapse Analytics

• Protégez l'espace de travail et les services gérés d'Azure Synapse Analytics.

• Protection des données de l'espace de travail Azure Synapse Analytics

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Création d'un entrepôt de données dans Azure Synapse Analytics

• Configuration et gestion des secrets dans Azure Key Vault

• Mise en œuvre de contrôles de conformité pour les données confidentielles

Module 9 : Prise en charge de l’analyse transactionnelle hybride avec Azure Synapse Link

Dans ce module, les étudiants apprendront comment Azure Synapse Link permet une connectivité transparente entre un compte Azure Cosmos DB et un espace de travail Synapse. Ils découvriront comment activer et configurer Synapse Link, puis comment interroger le magasin d'analyse Azure Cosmos DB à l'aide d'Apache Spark et de SQL sans serveur.

Leçons

• Conception d'un traitement hybride analytique et transactionnel utilisant Azure Synapse Analytics

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Requête Azure Cosmos DB avec groupes Apache Spark

• Requête Azure Cosmos DB avec groupes SQL sans serveur

Atelier : Prise en charge de l’analyse transactionnelle hybride avec Azure Synapse Link

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Interroger Azure Cosmos DB avec Apache Spark pour Synapse Analytics

• Interrogez Azure Cosmos DB avec des pools SQL sans serveur pour Azure Synapse Analytics

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Conception d'un traitement hybride analytique et transactionnel utilisant Azure Synapse Analytics

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Requête Azure Cosmos DB avec Apache Spark pour Azure Synapse Analytics

• Interrogez Azure Cosmos DB avec SQL sans serveur pour Azure Synapse Analytics

Module 10 : Traitement de flux en temps réel avec l’analyse de flux

Dans ce module, les étudiants apprendront à traiter des données en flux continu avec Azure Stream Analytics. Ils ingéreront des données de télémétrie de véhicules depuis Event Hubs, puis les traiteront en temps réel à l'aide de différentes fonctions de fenêtrage d'Azure Stream Analytics. Ils enverront ensuite ces données à Azure Synapse Analytics. Enfin, les étudiants apprendront à dimensionner les charges de travail Stream Analytics afin d'accroître le débit.

Leçons

• Activer la messagerie de confiance pour les applications Big Data avec Azure Event Hubs

• Je travaille avec des flux de données à l'aide d'Azure Stream Analytics.

• Ingestion de flux de données avec Azure Stream Analytics

Laboratoire : Traitement de séquences en temps réel avec Stream Analytics

• Utilisez Stream Analytics pour traiter les données en temps réel provenant des Event Hubs.

• Utilisez les fonctions de Stream Analytics basées sur des fenêtres pour créer des agrégats et les envoyer à Synapse Analytics.

• Mettez à l'échelle les tâches Azure Stream Analytics pour améliorer les performances grâce au partitionnement

• Repartitionnez la séquence d'entrée pour optimiser la parallélisation.

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Activer la messagerie de confiance pour les applications Big Data avec Azure Event Hubs

• Je travaille avec des flux de données à l'aide d'Azure Stream Analytics.

• Ingestion de flux de données avec Azure Stream Analytics

Module 11 : Création d’une solution de traitement de séquences avec Event Hubs et Azure Databricks

Dans ce module, les étudiants apprendront à ingérer et à traiter des flux de données à grande échelle à l'aide d'Event Hubs et de Spark Structured Streaming dans Azure Databricks. Ils découvriront les cas d'utilisation et les principales fonctionnalités de Structured Streaming. Ils mettront en œuvre des fenêtres glissantes pour ajouter des extraits de données et appliqueront des filigranes afin de supprimer les données obsolètes. Enfin, ils se connecteront à Event Hubs pour lire et écrire des flux.

Leçons

• Traitement de données en flux continu avec Azure Databricks Structured Streaming

Atelier : Création d'une solution de traitement de séquences avec Event Hubs et Azure Databricks

• Analyser les utilisations et les caractéristiques clés du streaming structuré.

• Transmettre des données depuis un fichier et les écrire dans un système de fichiers distribué

• Utilisez des fenêtres glissantes pour ajouter des extraits de données au lieu de toutes les données.

• Appliquer des filigranes pour supprimer les données obsolètes

• Connectez-vous aux flux de travail de lecture et d'écriture des Event Hubs

À l'issue de ce module, les étudiants seront capables de faire ce qui suit :

• Traitement de données en flux continu avec Azure Databricks Structured Streaming

Prérequis

Les étudiants qui réussissent ce cours possèdent déjà des connaissances en informatique en nuage et en principes fondamentaux des données, ainsi qu'une expérience professionnelle des solutions de données.

Spécifiquement:

• AZ-900 : Principes fondamentaux d’Azure

• DP-900 : Principes fondamentaux des données dans Microsoft Azure

Langue

• Cours : Anglais / Espagnol

• Laboratoires : anglais / espagnol

Certification Microsoft Associate : Ingénieur de données Azure associé

Certifié Microsoft : Ingénieur de données Azure associé

Démontrer sa compréhension des tâches courantes d'ingénierie des données pour implémenter et gérer les charges de travail d'ingénierie des données sur Microsoft Azure en utilisant une gamme de services Azure.

Niveau : Intermédiaire
Rôle : Ingénieur de données
Produit : Azure
Sujet : Données et IA