DP-3028 : Implémenter l'ingénierie de l'IA générative avec Azure Databricks

Cours DP-3028: Implémenter l'ingénierie de l'IA générative avec Azure Databricks

Ce cours couvre l'ingénierie de l'IA générative dans Azure Databricks, en utilisant Spark pour explorer, affiner, évaluer et intégrer des modèles de langage avancés. Il enseigne comment mettre en œuvre des techniques telles que la génération augmentée par récupération (RAG) et le raisonnement multi-étapes, ainsi que comment affiner de grands modèles de langage pour des tâches spécifiques et évaluer leurs performances. Les étudiants apprendront également les pratiques d'IA responsable pour la mise en œuvre de solutions d'IA et comment gérer les modèles en production à l'aide de LLMOps (Large Language Model Operations) dans Azure Databricks.

Niveau : Intermédiaire - Rôle : Ingénieur IA, Scientifique de données - Produit : Azure - Sujet : Intelligence artificielle, Apprentissage automatique

Cours destiné à

Ce cours est conçu pour les scientifiques de données, les ingénieurs en apprentissage automatique et d'autres professionnels de l'IA qui souhaitent créer des applications d'IA générative avec Azure Databricks. Il s'adresse aux professionnels familiarisés avec les concepts fondamentaux de l'IA et la plateforme Azure Databricks.

Objectifs du cours officiel DP-3028

• Introduction aux modèles de langage (LLMs) : Comprendre les fondamentaux de l'IA générative, des modèles de langage et leur application dans les tâches de traitement du langage naturel (NLP).
• Implémenter la RAG (Retrieval-Augmented Generation) : Apprendre à préparer des données, effectuer des recherches vectorielles et appliquer des techniques de ré-classement pour améliorer la précision des réponses générées.
• Développer le raisonnement multi-étapes : Utiliser des frameworks comme LangChain, LlamaIndex, Haystack et DSPy pour construire des flux de raisonnement complexes.
• Ajuster les modèles de langage (Fine-tuning) : Préparer des données et effectuer des ajustements fins sur les modèles Azure OpenAI pour des tâches spécifiques.
• Évaluer les modèles de langage : Comparer les évaluations traditionnelles avec des métriques spécifiques aux LLM, y compris l'approche "LLM-as-a-judge".
• Appliquer les principes de l'IA responsable : Identifier les risques, atténuer les problèmes et appliquer des outils de sécurité pour protéger les systèmes d'IA.
• Implémenter LLMOps : Passer de MLOps à LLMOps, gérer les déploiements avec MLflow et utiliser Unity Catalog pour le contrôle de version et la sécurité des modèles.

Contenu du cours officiel Azure Databricks DP-3028

Module 1 Introduction aux modèles de langage dans Azure Databricks

• Introduction
• Présentation de l'intelligence artificielle générative
• Comprendre les grands modèles linguistiques (LLM)
• Identification des composants clés des applications LLM
• Utilisation des LLM pour les tâches de traitement du langage naturel (NLP)
• Exercice : Exploration des modèles de langage

Module 2 Implémentation de la génération augmentée de récupération (RAG) avec Azure Databricks

• Introduction
• Exploration des concepts principaux d'un flux de travail RAG
• Préparation des données pour la RAG
• Recherche de données pertinentes avec le vecteur de recherche
• Réaffectation des résultats récupérés
• Exercice : Configuration de la RAG

Module 3 Implémentation du raisonnement en plusieurs phases dans Azure Databricks

• Introduction
• Que sont les systèmes de raisonnement en plusieurs phases ?
• Explorer LangChain
• Exploration de LlamaIndex
• Explorer Haystack
• Explorer le cadre DSPy
• Exercice : Implémenter le raisonnement en plusieurs phases avec LangChain

Module 4 Réglage des modèles de langage avec Azure Databricks

• Introduction
• Qu'est-ce que le réglage ?
• Préparation des données pour le réglage
• Réglage d'un modèle Azure OpenAI
• Exercice : Réglage d'un modèle Azure OpenAI

Module 5 Évaluation des modèles de langage avec Azure Databricks

• Introduction
• Comparaison des évaluations LLM et ML traditionnelles
• Évaluation des machines virtuelles et des systèmes d'intelligence artificielle
• Évaluation des LLM avec des métriques standard
• Description de LLM-as-a-judge pour l'évaluation
• Exercice : Évaluation d'un modèle Azure OpenAI

Module 6 Révision des principes de l'IA responsable pour les modèles de langage dans Azure Databricks

• Introduction
• Qu'est-ce que l'intelligence artificielle responsable ?
• Identifier les risques
• Atténuation des problèmes
• Utilisation d'outils de sécurité clés pour protéger les systèmes d'intelligence artificielle
• Exercice : Implémenter l'IA responsable

Module 7 Implémentation de LLMOps dans Azure Databricks

• Introduction
• Transition de MLOps traditionnel à LLMOps
• Comprendre les implémentations de modèles
• Description des fonctionnalités d'implémentation de MLflow
• Utilisation de Unity Catalog pour gérer les modèles
• Exercice : Implémenter LLMOps

Prérequis

Avant de commencer ce module, vous devez être familiarisé avec les concepts fondamentaux de l'intelligence artificielle et d'Azure Databricks.

Langue

• Cours : Anglais / Espagnol