Vyhodnocení a optimalizace agentů AI prostřednictvím strukturovaných experimentů
Středně pokročilý
Odborník na AI
Vývojář
Architekt řešení
Azure
Microsoft Foundry
Zjistěte, jak optimalizovat agenty AI prostřednictvím strukturovaného vyhodnocení, které transformuje odhady na technická rozhodnutí založená na důkazech. Prozkoumáte, jak navrhnout experimenty s vyhodnocením s jasnými metrikami pro kvalitu, náklady a výkon; uspořádejte experimenty pomocí pracovních postupů založených na Gitu; vytvořit vyhodnocovací rubriky pro konzistentní bodování; a porovnejte výsledky a proveďte informovaná rozhodnutí o optimalizaci.
Cíle výuky
V tomto modulu jste:
- Experimenty s vyhodnocením návrhu s jasnými metrikami pro kvalitu, náklady a výkon
- Použití pracovních postupů založených na Gitu k uspořádání a porovnávání variant agentů systematicky
- Vytváření hodnotících rubrik, které zajišťují konzistentní vyhodnocování v rámci lidských vyhodnocovačů
- Porovnání výsledků experimentů a rozhodování o optimalizaci založené na důkazech
Požadavky
Před zahájením tohoto modulu byste měli mít:
- Základní znalost agentů AI a velkých jazykových modelů
- Znalost pracovních postupů správy verzí Gitu
- Zkušenosti s vývojovými platformami Microsoft Azure AI Foundry nebo podobnými vývojovými platformami AI
Začínáme s Azure
Zvolte si účet Azure, který vám vyhovuje. Zvolte průběžné platby nebo vyzkoušejte Azure zdarma až na 30 dnů. Zaregistrujte se.