Mengevaluasi dan mengoptimalkan agen AI melalui eksperimen terstruktur
Menengah
Teknisi AI
Pengembang
Arsitek Solusi
Azure
Microsoft Foundry
Pelajari cara mengoptimalkan agen AI melalui evaluasi terstruktur yang mengubah tebakan menjadi keputusan teknik berbasis bukti. Anda akan menjelajahi cara merancang eksperimen evaluasi dengan metrik yang jelas untuk kualitas, biaya, dan performa; mengatur eksperimen menggunakan alur kerja berbasis Git; membuat rubrik evaluasi untuk penilaian yang konsisten; dan membandingkan hasil untuk membuat keputusan pengoptimalan berdasarkan informasi.
Tujuan pembelajaran
Dalam modul ini, Anda:
- Mendesain eksperimen evaluasi dengan metrik yang jelas untuk kualitas, biaya, dan performa
- Menerapkan alur kerja berbasis Git untuk mengatur dan membandingkan varian agen secara sistematis
- Membuat rubrik evaluasi yang memastikan penilaian yang konsisten di seluruh evaluator manusia
- Membandingkan hasil eksperimen untuk membuat keputusan pengoptimalan berbasis bukti
Prasyarat
Sebelum memulai modul ini, Anda harus memiliki:
- Pemahaman dasar tentang agen AI dan model bahasa besar
- Keakraban dengan alur kerja kontrol versi Git
- Pengalaman dengan Microsoft Azure AI Foundry atau platform pengembangan AI serupa
Mulai menggunakan Azure
Pilih akun Azure yang tepat untuk Anda. Prabayar atau coba Azure gratis hingga 30 hari. Daftar.