Függvényhívás az Azure Databricks rendszerben

Ez a cikk a függvényhívást és annak használatát ismerteti a generatív AI-alkalmazás munkafolyamatai részeként. A Databricks-függvényhívás OpenAI-kompatibilis, és csak az Foundation Model API-k részeként és a külső modelleketkiszolgáló végpontok kiszolgálása során érhető el.

Mi a függvényhívás?

A függvényhívással szabályozhatja az LLM-k kimenetét, így megbízhatóbb strukturált válaszokat hozhat létre. Függvényhívás használatakor az API-hívás függvényeit egy JSON-sémával írja le. Maga az LLM nem hívja meg ezeket a függvényeket, hanem létrehoz egy JSON-objektumot, amellyel a felhasználók meghívhatják a függvényeket a kódjukban.

A Databricks függvényhívásához a lépések alapvető sorrendje a következő:

1. Hívja meg a modellt az elküldött lekérdezés és a tools paraméterben definiált függvénykészlet használatával.
2. A modell dönti el, hogy meghívja-e a definiált függvényeket. A függvény meghívásakor a tartalom az egyéni sémához igazodó sztringek JSON-objektuma.
3. Elemezze a sztringeket JSON-formátumúra a kódban, és hívja meg a függvényt a megadott argumentumokkal, ha léteznek.
4. Hívja meg újra a modellt a strukturált válasz új üzenetként való hozzáfűzésével. A válasz struktúráját a korábban megadott függvények határozzák meg.tools Innen a modell összegzi az eredményeket, és elküldi az összegzést a felhasználónak.

Mikor érdemes függvényhívást használni?

A függvényhíváshoz az alábbi példahasználati esetek tartoznak:

• Olyan asszisztenseket hozhat létre, amelyek más API-k meghívásával válaszolhatnak a kérdésekre. Definiálhat például olyan függvényeket, mint a send_email(to: string, body: string) vagy current_weather(location: string, unit: 'celsius' | 'fahrenheit')a .
• Api-hívások definiálása és használata természetes nyelv alapján. Például a "Ki(k) a fő ügyfele(i)m?" és ezt egy elnevezett API-hívássá alakíthatja, get_customers(min_revenue: int, created_before: string, limit: int) és meghívhatja azt az API-t.

Kötegelt következtetéshez vagy adatfeldolgozási feladatokhoz, például strukturálatlan adatok strukturált adatokká alakításához. A Databricks strukturált kimenetek használatát javasolja.

Támogatott modellek

Az alábbi táblázat felsorolja a támogatott modelleket, és hogy melyik modell-kiszolgáló funkció teszi elérhetővé az egyes modelleket. Lásd a modellekre vonatkozó modellfeltételeket .

• Az Foundation Model API-k által elérhetővé tett modellekről lásd az alapmodell API-k régiónkénti rendelkezésre állási korlátait .
• A külső modellek által elérhetővé tett modellekről lásd : Régió rendelkezésre állása a régió rendelkezésre állásához.

Használja a függvényhívást

Ha függvényhívást szeretne használni a generatív AI-alkalmazással, meg kell adnia egy függvényt parameters és egy description.

Az tool_choice alapértelmezett viselkedése "auto". Ez lehetővé teszi, hogy a modell eldöntse, mely függvényeket hívja meg, és hogy hívja-e őket.

A használati esettől függően testre szabhatja az alapértelmezett viselkedést. A következő lehetőségek közül választhat:

• tool_choice: "required"beállítása. Ebben a forgatókönyvben a modell mindig meghív egy vagy több függvényt. A modell kiválasztja, hogy melyik függvényt vagy függvényt hívja meg.
• tool_choice: {"type": "function", "function": {"name": "my_function"}}beállítása. Ebben a forgatókönyvben a modell csak egy adott függvényt hív meg.
• Állítsa be a tool_choice: "none" a függvényhívás letiltására, és állítsa be, hogy a modell csak felhasználói üzenetet hozzon létre.

Következik egy példa, amely az OpenAI SDK-t és annak tools paraméterét használja egyetlen lépésben. További szintaxisadatokért tekintse meg a Csevegés befejezése API-t .

import os
import json
from openai import OpenAI

DATABRICKS_TOKEN = os.environ.get('YOUR_DATABRICKS_TOKEN')
DATABRICKS_BASE_URL = os.environ.get('YOUR_DATABRICKS_BASE_URL')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url=DATABRICKS_BASE_URL
  )

tools = [
  {
    "type": "function",
    "function": {
      "name": "get_current_weather",
      "description": "Get the current weather in a given location",
      "parameters": {
        "type": "object",
        "properties": {
          "location": {
            "type": "string",
            "description": "The city and state, e.g. San Francisco, CA"
          },
          "unit": {
            "type": "string",
            "enum": [
              "celsius",
              "fahrenheit"
            ]
          }
        }
      }
    }
  }
]

messages = [{"role": "user", "content": "What is the current temperature of Chicago?"}]

response = client.chat.completions.create(
    model="databricks-meta-llama-3-3-70b-instruct",
    messages=messages,
    tools=tools,
    tool_choice="auto",
)

print(json.dumps(response.choices[0].message.model_dump()['tool_calls'], indent=2))

Ez a paraméter a Claude-modellek számítógép-használatát (bétaverzióját) is támogatja.

JSON-séma

Az Alapmodell API-k széles körben támogatják az OpenAI által elfogadott függvénydefiníciókat. Ha azonban egyszerűbb JSON-sémát használ a függvényhívás-definíciókhoz, jobb minőségű függvényhívási JSON-generációt eredményez. A jobb minőségű generáció előmozdítása érdekében az alapmodell API-k csak JSON-sémaspecifikációk egy részét támogatják.

A következő függvényhívás-definíciós kulcsok nem támogatottak:

• Reguláris kifejezések pattern használatával.
• Összetett, beágyazott vagy sémaösszetétel és -ellenőrzés a következőkkel: anyOf, oneOf, allOf, prefixItemsvagy $ref.
• Típuslisták, kivéve a [type, “null”] speciális esetét, ahol a listában szereplő egyik típus érvényes JSON-típus, a másik pedig "null"

Emellett a következő korlátozások érvényesek:

• A JSON-sémában megadott kulcsok maximális száma 16.
• Az alapmodell API-k nem kényszerítik ki az objektumokra és tömbökre vonatkozó hossz- és méretkorlátozásokat.
  • Ide tartoznak az olyan kulcsszavak, mint a maxProperties, minPropertiesés maxLength.
• Az erősen beágyazott JSON-sémák alacsonyabb minőségű generációt eredményeznek. Ha lehetséges, próbálja meg elsimítani a JSON-sémát a jobb eredmények érdekében.

Token használata

A gyorsinjektálást és más technikákat az eszközhívások minőségének javítására használják. Ez hatással van a modell által felhasznált bemeneti és kimeneti tokenek számára, ami számlázási következményekkel jár. Minél több eszközt használ, annál nagyobb a bemeneti tokenek száma.

Korlátozások

A nyilvános előzetes verzióban a függvényhívásra vonatkozó korlátozások a következők:

• Többfordulós függvények esetén a Databricks a támogatott Claude-modelleket javasolja.
• A Llama 4 Maverick használata esetén az aktuális függvényhívási megoldás egyfordulós függvényhívásokra van optimalizálva. A többfordulós függvényhívás az előzetes verzióban támogatott, de fejlesztés alatt áll.
• A párhuzamos függvényhívás nem támogatott.
• A tools-ben definiálható függvények maximális száma 32.
• A kiosztott átviteli sebesség támogatása esetén a függvényhívás csak az új végpontokon támogatott. Nem adhat hozzá függvényhívást a korábban létrehozott végpontokhoz.
• A Google Gemini-végpontoknál a(z) id mező a(z) function_call és function_response esetén nem támogatott.

Jegyzetfüzet példa

Részletes függvényhívási példákért tekintse meg az alábbi jegyzetfüzetet

Függvényhívási példajegyzetfüzet

Jegyzetfüzet lekérése