Exercice - Évaluer et comparer les versions de l’agent IA
Dans cet exercice, vous évaluez deux versions rapides de l’Agent du Guide de la piste et créez un document de décision de comparaison des versions qui justifie la version à promouvoir en production en fonction des scores de qualité et de l’analyse des coûts.
Tout au long de cet exercice, vous :
- Concevoir des expériences d’évaluation à l’aide de branches Git pour gérer et comparer les versions de prompts
- Évaluer manuellement les réponses de l’agent IA en fonction de critères de qualité structurés (Résolution d’intention, Pertinence, Ancrage)
- Comparer les versions de l’agent dans les scénarios de test pour déterminer les différences de qualité et les compromis en termes de coûts.
Note
Pour terminer ce labo, vous avez besoin d’un abonnement Azure dans lequel vous disposez d’un accès administratif.
Lancez l’exercice et suivez les instructions.
