Sohbet modelini sorgulama

Bu makalede, sohbet ve genel amaçlı görevler için iyileştirilmiş ve Unity AI Gateway tarafından sunulan temel modeller için sorgu istekleri yazmayı öğreneceksiniz.

İpucu

Genie Code (Aracı modu) bunu sizin için yapabilir. Şu örnek istemi deneyin:

Query the databricks-claude-sonnet-4-5 chat model using the OpenAI client. Send a system prompt and a user question, and print the response.

Bu makaledeki örnekler, aşağıdakilerden biri kullanılarak kullanıma sunulan temel modelleri sorgulamak için geçerlidir:

Databricks tarafından barındırılan temel modeller olarak adlandırılan Temel Modeller API'leri.
Databricks dışında barındırılan temel modeller olarak adlandırılan dış modeller.

Gereksinimler

Bkz . Gereksinimler.
Seçtiğiniz sorgu istemcisi seçeneğine göre uygun paketi kümenize yükleyin.

Sorgu örnekleri

Uyarı

Aşağıdaki örnekler Unity AI Gateway ve model hizmetlerini temel alır. Model hizmetleri yerine uç noktaları sunan model kullanıyorsanız, model hizmeti adını bir uç nokta adıyla değiştirin. Kullanılabilir temel modellerin ve bunların model hizmeti ve uç nokta adlarının listesi için bkz. Temel Model API'lerinde bulunan Databricks tarafından barındırılan temel modeller.

Bu bölümdeki örnekler, farklı istemci seçeneklerini kullanarak bir Foundation Model API'sinin belirteç başına ödeme modeli hizmetini sorgulamayı gösterir.

OpenAI Konuşma Tamamlamaları

OpenAI istemcisini kullanmak için giriş olarak model model hizmeti adını belirtin. Aşağıdaki örnekte, bir Databricks API belirteciniz olduğu ve openai bilgisayarınızda yüklü olduğu varsayılır. OpenAI istemcisini Databricks'e bağlamak için Databricks çalışma alanı örneğinize de ihtiyacınız vardır.


import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

Örneğin, REST API kullanılırken sohbet modeli için beklenen istek biçimi aşağıda verilmiştir. Dış modeller için, belirli bir sağlayıcı ve uç nokta yapılandırması için geçerli olan ek parametreler ekleyebilirsiniz. Bkz. Ek sorgu parametreleri.

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

REST API kullanılarak yapılan istek için beklenen yanıt biçimi aşağıda verilmiştir:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

OpenAI Yanıtları

Önemli

Bu bölüm, OpenAI modelleri için tüm OpenAI Yanıtları parametrelerini destekleyen yerel bir geçiş olan OpenAI Yanıtları API'sini kapsar. Yanıtlar istek biçimini Anthropic Claude, Google Gemini veya Databricks tarafından barındırılan açık modellerle kullanmak için bkz. Open Responses API'siyle model sorgulama.

OpenAI Yanıtları API'sini kullanmak için giriş olarak model model hizmeti adını belirtin. Aşağıdaki örnekte, bir Azure Databricks API belirteciniz olduğu ve openai varsayılmaktadır. OpenAI istemcisini Azure Databricks'e bağlamak için Azure Databricks çalışma alanı örneğinize de ihtiyacınız vardır.


import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.responses.create(
    model="system.ai.gpt-5",
    input=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_output_tokens=256
)

Örneğin, OpenAI Yanıtları API'sini kullanırken beklenen istek biçimi aşağıda verilmiştir. Bu API'nin URL yolu şeklindedir /serving-endpoints/responses.

{
  "model": "databricks-gpt-5",
  "input": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_output_tokens": 100,
  "temperature": 0.1
}

Yanıtlar API'sini kullanarak yapılan istek için beklenen yanıt biçimi aşağıda verilmiştir:

{
  "id": "resp_abc123",
  "object": "response",
  "created_at": 1698824353,
  "model": "databricks-gpt-5",
  "output": [
    {
      "type": "message",
      "role": "assistant",
      "content": []
    }
  ],
  "usage": {
    "input_tokens": 7,
    "output_tokens": 74,
    "total_tokens": 81
  }
}

REST API

Önemli

Aşağıdaki örnek, dış modellere hizmet veren hizmet uç noktalarını sorgulamak için REST API parametrelerini kullanır. Bu parametreler "Public Preview" içindedir ve tanımı değişebilir. Bkz. POST /serving-endpoints/{name}/invocations.

curl \
-u token:$DATABRICKS_TOKEN \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": " What is a mixture of experts model?"
    }
  ]
}' \
https://<workspace_host>.databricks.com/serving-endpoints/<your-external-model-endpoint>/invocations \

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

REST API kullanılarak yapılan istek için beklenen yanıt biçimi aşağıda verilmiştir:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

MLflow Dağıtım SDK'sı

Önemli

Aşağıdaki örnek, MLflow Dağıtımları SDK'sından predict()API'yi kullanır.


import mlflow.deployments

# Only required when running this example outside of a Databricks Notebook
export DATABRICKS_HOST="https://<workspace_host>.databricks.com"
export DATABRICKS_TOKEN="dapi-your-databricks-token"

client = mlflow.deployments.get_deploy_client("databricks")

chat_response = client.predict(
    endpoint="system.ai.claude-sonnet-4-5",
    inputs={
        "messages": [
            {
              "role": "user",
              "content": "Hello!"
            },
            {
              "role": "assistant",
              "content": "Hello! How can I assist you today?"
            },
            {
              "role": "user",
              "content": "What is a mixture of experts model??"
            }
        ],
        "temperature": 0.1,
        "max_tokens": 20
    }
)

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

REST API kullanılarak yapılan istek için beklenen yanıt biçimi aşağıda verilmiştir:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Databricks Python SDK'sı

Bu kod çalışma alanınızdaki bir not defterinde çalıştırılmalıdır. Bkz. Azure Databricks not defterinden Python için Databricks SDK'sını kullanma.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole

w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="system.ai.claude-sonnet-4-5",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(
            role=ChatMessageRole.USER, content="What is a mixture of experts model?"
        ),
    ],
    max_tokens=128,
)
print(f"RESPONSE:\n{response.choices[0].message.content}")

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

REST API kullanılarak yapılan istek için beklenen yanıt biçimi aşağıda verilmiştir:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Desteklenen modeller

Desteklenen sohbet modelleri için temel model türleri bölümüne bakın.

Ek kaynaklar

Geri Bildirim

Bu sayfayı yararlı buldunuz mu?

Last updated on 2026-07-07