Görüntü işleme modellerini sorgulama

Bu makalede, görüntü işleme görevleri için iyileştirilmiş ve Unity AI Gateway tarafından sunulan temel modeller için sorgu istekleri yazmayı öğreneceksiniz.

Query the databricks-claude-sonnet-4-5 model using the OpenAI client, sending a base64-encoded image from a URL alongside a text question, and print the response.

Model Sunma, çeşitli temel modelleri kullanarak görüntüleri anlamak ve analiz etmek için birleştirilmiş bir API sağlar ve güçlü çok modüllü özelliklerin kilidini açar. Bu işlev, Temel Model API'lerinin bir parçası olarak belirli Databricks tarafından barındırılan modeller ve dış modellere hizmet veren uç noktalar aracılığıyla kullanılabilir.

Gereksinimler

• Bkz . Gereksinimler.
• Seçtiğiniz sorgu istemcisi seçeneğine göre uygun paketi kümenize yükleyin.

Sorgu örnekleri

OpenAI istemcisi

OpenAI istemcisini kullanmak için giriş olarak model model hizmeti adını belirtin.

from openai import OpenAI
import base64
import requests

# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

client = OpenAI(
    api_key=API_TOKEN,
    base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)

# Download and encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
resp = requests.get(image_url)
resp.raise_for_status()
image_data = base64.b64encode(resp.content).decode("utf-8")

# OpenAI request
completion = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "what's in this image?"},
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
                },
            ],
        }
    ],
)

print(completion.choices[0].message.content)

Chat Completions API'si, birden fazla görüntü girişi destekler ve modelin her bir resmi analiz etmesine ve verilen komuta bir yanıt oluşturmak için tüm girdilerden bilgi sentezlemesine olanak tanır.

from openai import OpenAI
import base64
import requests

# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

client = OpenAI(
    api_key=API_TOKEN,
    base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)

# Download and encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp1 = requests.get(image1_url)
resp1.raise_for_status()
image1_data = base64.b64encode(resp1.content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp2 = requests.get(image2_url)
resp2.raise_for_status()
image2_data = base64.b64encode(resp2.content).decode("utf-8")

# OpenAI request
completion = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What are in these images? Is there any difference between them?"},
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
                },
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
                },
            ],
        }
    ],
)

print(completion.choices[0].message.content)

SQL

Aşağıda, Databricks Foundation Model API'leri tarafından desteklenen bir temel model, AI İşlevi ai_query() kullanılarak çok modlu giriş için sorgulanmaktadır.

> SELECT *, ai_query(
  'system.ai.llama-4-maverick',
 'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");

Desteklenen modeller

Desteklenen görme modelleri için Temel model türlerine bakın.

Giriş görüntüsü gereksinimleri

Görüntüden belirteçe dönüştürme

Bu bölüm yalnızca Temel Model API'leri için geçerlidir. Dış modeller için sağlayıcının belgelerine bakın.

Temel modele yapılan bir istekteki her görüntü, jeton kullanımınıza katkıda bulunur. Kullandığınız belirteç kullanımına ve modeline göre görüntü fiyatlandırmasını tahmin etmek için fiyatlandırma hesaplayıcısına bakın.

Görüntü anlama sınırlamaları

Bu bölüm yalnızca Temel Model API'leri için geçerlidir. Dış modeller için sağlayıcının belgelerine bakın.

Desteklenen Databricks tarafından barındırılan temel modellerinin görüntü anlama sınırlamaları aşağıdadır:

Ek kaynaklar

• Ekleme modelini sorgulama.
• Sorgu akıl yürütme modelleri.
• Sohbet modelini sorgulama.