Forstå og evaluere modeller for SQL-databasearbejdsbelastninger

Store sprogmodeller (LLM'er) gør det muligt for applikationer at generere svar, opsummere information og ræsonnere over brugerinput. Deres anvendelighed øges, når de kan få adgang til applikationsdata, der er lagret i en database.

Azure SQL Database og Fabric SQL-databaser understøtter opbygning af intelligente applikationer ved at integrere AI-funktioner såsom embeddings, vektordatatyper og vektorsøgning. Disse funktioner gør det muligt for modeller at arbejde direkte med relationelle data, hvilket muliggør almindelige mønstre som semantisk søgning og Retrieval Augmented Generation (RAG).

Før man integrerer en model i en SQL-baseret løsning, er det vigtigt at forstå, hvordan forskellige modeller opfører sig, og hvordan deres karakteristika påvirker applikationsdesignet.

Identificer modelkarakteristika for SQL-databasearbejdsbelastninger

Modellerne adskiller sig i deres kapaciteter, ydeevneegenskaber og understøttede input- og outputformater. Når du vurderer modeller til brug med Azure SQL Database eller Fabric SQL-database, skal følgende faktorer overvejes.

Modaliteter
Nogle modeller behandler kun tekst, mens andre understøtter andre input såsom billeder eller strukturerede data. Den nødvendige modalitet afhænger af typen af data, der er gemt i databasen, og det tilsigtede anvendelsesscenarie.

Understøttelse af sprog
Flersproget understøttelse er vigtig, når applikationer betjener brugere på tværs af regioner, eller når lagret indhold spænder over flere sprog.

Modelstørrelse og kapacitet
Større modeller giver typisk stærkere ræsonnering og mere nuanceret output, men de forbruger også flere tokens og kan introducere højere latenstid og omkostninger. Mindre modeller kan være mere velegnede til fokuserede opgaver som embedding-generering.

Struktureret output
Modeller, der kan producere struktureret output, såsom JSON, er lettere at integrere i SQL-baserede workflows, hvor svar skal behandles programmatisk.

Disse karakteristika påvirker, om en model er egnet til at generere embeddings, understøtte RAG-mønstre eller muliggøre samtaleadgang til databaseindhold.

Beskriv, hvordan modeller interagerer med Azure SQL-data

Azure SQL Database og Fabric SQL-database understøtter intelligente applikationsmønstre ved at kombinere relationel lagring med AI-funktioner såsom vektordatatyper og vektorfunktioner.

Et almindeligt mønster er Retrieval Augmented Generation (RAG), hvor relevante data hentes fra databasen og leveres til en model som kontekst, før et svar genereres. Dette trin gør det muligt at forankre svarene i applikationsdata i stedet for kun at stole på modellens forudtrænede viden.

Flere begreber påvirker, hvordan modeller interagerer med databasedata:

• Tokens, som er de enheder, modeller bruger til at behandle tekst
• Embeddings, som repræsenterer data som vektorer
• Vektorsøgning, som sammenligner indlejringer for at identificere semantisk lighed

Fordi vektorer ligger side om side med relationelle data i Azure SQL Database, kan du kombinere vektorlighedssøgning med enhver standard SQL-funktionalitet i en enkelt forespørgsel. For eksempel kan du indsnævre vektorsøgeresultater med en WHERE sætning, sammenlægge dem med relaterede tabeller eller blande vektor-cosinus-rangeringer med fuldtekst BM25-scorer. Denne kombination af vektorsøgning med almindelige SQL-operationer kaldes hybridsøgning. I stedet for at sende anmodninger til en separat søgetjeneste og afstemme resultaterne, forespørger du én database, der håndterer både semantisk lighed og relationel filtrering sammen.

At forstå disse koncepter hjælper dig med at designe SQL-baserede applikationer, der effektivt bruger AI-funktioner, samtidig med at de styrer ydeevne og omkostninger.

Forklar hvordan tokens påvirker omkostninger og design

Modeller behandler ikke tekst som rå tegn. I stedet bryder de tekst op i brikker. Tokens er små stykker, der kan være ord, dele af ord eller tegnsætning. For eksempel kan ordet "hamburger" blive til tre tokens: "ham", "bur" og "ger", mens et almindeligt ord som "the" typisk er en enkelt token.

Token-antal betyder noget af to grunde. For det første har modellerne inputgrænser. En model kan acceptere maksimalt 8.000 eller 128.000 tokens i en enkelt anmodning. Denne grænse begrænser, hvor meget databaseindhold du kan inkludere som kontekst i et RAG-mønster. For det andet opkræver modeludbydere typisk betaling baseret på de behandlede tokens. Flere tokens betyder højere omkostninger, så effektiv teksthåndtering påvirker direkte driftsomkostningerne.

Når du designer SQL-baserede AI-løsninger, påvirker tokenbegrænsninger, hvordan du chunker indhold til embeddings, og hvor meget kontekst du kan sende til en model under genereringen.

Fordi modeller pålægger tokenbegrænsninger og adskiller sig i, hvordan embeddings genereres, påvirker disse karakteristika skemadesign, chunking-strategier og forespørgselsadfærd.

Udforsk modeller med Microsoft Foundry

Microsoft Foundry Models tilbyder et katalog over AI-modeller, der kan bruges med Azure-tjenester. Kataloget indeholder modeller, der understøtter opgaver som tekstbehandling, indlejringsgenerering, ræsonnement og multimodal input.

For SQL-databasearbejdsbelastninger hjælper Foundry dig med at evaluere, hvilke modeller der er egnede til integration med Azure SQL Database eller Fabric SQL-database. Understøttede inputtyper, sprogdækning og implementeringsmuligheder påvirker alle, hvilken model der passer til din situation.

Modelkataloget eksponerer information som modellens kapaciteter, benchmarks, versionsdetaljer og livscyklusstatus. Disse oplysninger hjælper udviklere med at forstå ydeevne- og driftsmæssige begrænsninger, før de forbinder en model til databasearbejdsgange.

Brugen af Foundry under designet hjælper med at sikre, at den valgte model stemmer overens med SQL-baserede applikationskrav og kan integreres forudsigeligt med relationelle data.

Vælg en model til din løsning

Valg af model er en designbeslutning, der påvirker ydeevne, omkostninger og vedligeholdelsesevne. Når du vælger en model til brug med Azure SQL Database eller Fabric SQL-database, skal du overveje:

• Typen og formatet af data, der er gemt i databasen,
• Krav til ydeevne og skalerbarhed
• Sprog- eller modalitetskrav
• Implementering og livscyklusovervejelser

At forstå disse afvejninger hjælper med at sikre, at AI-funktioner integreres i SQL-databaseløsninger på en måde, der er forudsigelig, skalerbar og i overensstemmelse med applikationens mål.

Vigtige takeaways

Modellerne adskiller sig i modaliteter, sprogunderstøttelse, størrelse og strukturerede outputmuligheder, og disse forskelle påvirker, hvordan de integreres med SQL-databasearbejdsbelastninger. RAG henter relevant databaseindhold og leverer det til en model som kontekst, mens tokens bestemmer, hvordan input- og outputtekst behandles. Indlejringer repræsenterer data som vektorer, der muliggør sammenligninger af semantiske ligheder. Microsoft Foundry Models tilbyder et katalog til evaluering og udvælgelse af modeller, der stemmer overens med dine SQL-baserede applikationskrav.