Resumé
I dette modul har vi gennemgået, hvordan du kan bruge Azure OpenAI sammen med Azure API Management. Ved at kombinere disse tjenester kan du administrere og sikre adgang til dine AI-modeller.
Først drøftede vi problemet med justering af belastning, og hvordan Azure API Management kan hjælpe dig med at administrere trafik og sikre, at belastningen fordeles jævnt på tværs af dine backends. Vi har også undersøgt kredsløbsafbrydere, og hvordan de kan hjælpe med at styre trafikken væk fra usunde backends.
Derefter diskuterede vi tokenbaseret hastighedsbegrænsning, og hvordan du kan bruge den til at styre adgangen til dine API'er. En vigtig læring var at undgå overforbrug og såkaldte "støjende naboer" ved at sætte grænser for tokenforbrug.
Endelig diskuterede vi, hvordan du kan overvåge og analysere tokenbrugsmønstre ved hjælp af Azure OpenAI Emit Token Metric-politikken. Ved at levere omfattende målepunkter kan du optimere ressourceallokering, forbedre beslutningstagningen og forbedre overvågning af ydeevnen.
Næste trin
Her er vores anbefalede næste trin: