DP-3028 : Implémenter l'ingénierie de l'IA générative avec Azure Databricks

Cours DP-3028 : Implement Generative AI engineering with Azure Databricks

Ce cours couvre l'ingénierie de l'IA générative sur Azure Databricks, en utilisant Spark pour explorer, affiner, évaluer et intégrer des modèles de langage avancés. Il enseigne comment mettre en œuvre des techniques telles que la génération augmentée par récupération (RAG) et le raisonnement multi-étapes, ainsi que comment affiner les grands modèles de langage pour des tâches spécifiques et évaluer leurs performances. Les étudiants apprendront également les pratiques d'IA responsable pour le déploiement de solutions d'IA et comment gérer les modèles en production via LLMOps (opérations de grands modèles de langage) sur Azure Databricks.

Niveau : Intermédiaire - Rôle : Ingénieur IA, Data Scientist - Produit : Azure - Sujet : Intelligence artificielle, Apprentissage automatique

Public visé

Ce cours est conçu pour les data scientists, les ingénieurs en apprentissage automatique et d'autres professionnels de l'IA souhaitant créer des applications d'IA générative avec Azure Databricks. Il s'adresse aux professionnels familiers avec les concepts fondamentaux de l'IA et la plateforme Azure Databricks.

Objectifs du cours officiel DP-3028

• Introduction aux modèles de langage (LLM) : Comprendre les fondamentaux de l'IA générative, les modèles de langage et leur application dans les tâches de traitement du langage naturel (NLP).
• Mettre en œuvre le RAG (Retrieval-Augmented Generation) : Apprendre à préparer les données, effectuer des recherches vectorielles et appliquer des techniques de re-ranking pour améliorer la précision des réponses générées.
• Développer le raisonnement multi-étapes : Utiliser des frameworks comme LangChain, LlamaIndex, Haystack et DSPy pour construire des flux de raisonnement complexes.
• Affiner les modèles de langage (Fine-tuning) : Préparer les données et effectuer des réglages fins sur les modèles Azure OpenAI pour des tâches spécifiques.
• Évaluer les modèles de langage : Comparer les évaluations traditionnelles avec des métriques spécifiques aux LLM, y compris l'approche « LLM-as-a-judge ».
• Appliquer les principes d'IA responsable : Identifier les risques, atténuer les problèmes et utiliser des outils de sécurité pour protéger les systèmes d'IA.
• Mettre en œuvre LLMOps : Passer du MLOps au LLMOps, gérer les déploiements avec MLflow et utiliser Unity Catalog pour le contrôle de version et la sécurité des modèles.

Contenu du cours officiel Azure Databricks DP-3028

Module 1 Introduction aux modèles de langage sur Azure Databricks

• Introduction
• Description de l'intelligence artificielle générative
• Comprendre les grands modèles de langage (LLM)
• Identification des composants clés des applications LLM
• Utilisation des LLM pour les tâches de traitement du langage naturel (NLP)
• Exercice : Exploration des modèles de langage

Module 2 Mise en œuvre de la génération augmentée par récupération (RAG) sur Azure Databricks

• Introduction
• Exploration des concepts principaux d'un flux de travail RAG
• Préparation des données pour le RAG
• Recherche de données pertinentes avec la recherche vectorielle
• Réordonnancement des résultats récupérés
• Exercice : Configuration du RAG

Module 3 Mise en œuvre du raisonnement multi-étapes sur Azure Databricks

• Introduction
• Qu'est-ce que les systèmes de raisonnement multi-étapes ?
• Exploration de LangChain
• Exploration de LlamaIndex
• Exploration de Haystack
• Exploration du framework DSPy
• Exercice : Mise en œuvre d'un raisonnement multi-étapes avec LangChain

Module 4 Affinage des modèles de langage sur Azure Databricks

• Introduction
• Qu'est-ce que l'affinage (fine-tuning) ?
• Préparation des données pour l'affinage
• Affinage d'un modèle Azure OpenAI
• Exercice : Affinage d'un modèle Azure OpenAI

Module 5 Évaluation des modèles de langage sur Azure Databricks

• Introduction
• Comparaison des évaluations LLM et ML traditionnel
• Évaluation des systèmes d'IA
• Évaluation des LLM avec des métriques standard
• Description de l'approche "LLM-as-a-judge" pour l'évaluation
• Exercice : Évaluation d'un modèle Azure OpenAI

Module 6 Revue des principes d'IA responsable pour les modèles de langage sur Azure Databricks

• Introduction
• Qu'est-ce que l'intelligence artificielle responsable ?
• Identifier les risques
• Atténuation des problèmes
• Utilisation d'outils de sécurité clés pour protéger les systèmes d'IA
• Exercice : Mise en œuvre de l'IA responsable

Module 7 Mise en œuvre de LLMOps sur Azure Databricks

• Introduction
• Transition du MLOps traditionnel au LLMOps
• Comprendre les déploiements de modèles
• Description des fonctionnalités de déploiement de MLflow
• Utilisation d'Unity Catalog pour gérer les modèles
• Exercice : Mise en œuvre de LLMOps

Prérequis

Avant de commencer ce module, vous devez être familiarisé avec les concepts fondamentaux de l'intelligence artificielle et Azure Databricks.

Langue

• Cours : Anglais / Espagnol