Membuat keterangan untuk gambar dalam bahasa lain

Dalam artikel ini, pelajari cara menghasilkan keterangan menggunakan pengayaan kecerdasan buatan dan kumpulan keterampilan. Gambar sering berisi informasi berguna yang relevan dalam skenario pencarian. Anda dapat mem-vektorisasi gambar untuk mewakili konten visual dalam indeks pencarian Anda. Atau, Anda dapat menggunakan pengayaan berbasis AI dan kumpulan keterampilan untuk membuat serta mengekstrak teks yang dapat dicari dari gambar.

Keterampilan GenAI Prompt dapat menghasilkan deskripsi setiap gambar di sumber data Anda, dan pengindeks mendorong deskripsi tersebut ke dalam indeks pencarian. Untuk menampilkan deskripsi, jalankan kueri yang menyertakannya dalam respons.

Prasyarat

Untuk bekerja dengan konten gambar dalam set keterampilan, Anda memerlukan:

• Sumber data yang didukung. Kami merekomendasikan Azure Storage.
• File atau blob yang berisi gambar.
• Membaca akses ke sumber data yang didukung. Artikel ini menggunakan autentikasi berbasis kunci, tetapi pengindeks juga dapat terhubung menggunakan identitas layanan pencarian dan autentikasi Microsoft Entra ID. Untuk kontrol akses berbasis peran, tetapkan peran pada sumber data untuk memungkinkan akses baca oleh identitas layanan. Jika Anda menguji pada komputer pengembangan lokal, pastikan Anda juga memiliki akses baca di sumber data yang didukung.
• Pengindeks pencarian, dikonfigurasi untuk tindakan gambar.
• Kumpulan keterampilan dengan keterampilan GenAI Prompt.
• Indeks pencarian dengan bidang untuk menerima output teks yang dihasilkan, ditambah pemetaan bidang output di pengindeks yang menetapkan asosiasi.

Secara opsional, Anda dapat menentukan proyeksi untuk menerima output analisis gambar ke dalam penyimpanan pengetahuan untuk skenario penambangan data.

Mengonfigurasi pengindeks untuk pemrosesan gambar

Setelah file sumber disiapkan, aktifkan normalisasi gambar dengan mengatur imageAction parameter dalam konfigurasi pengindeks. Normalisasi gambar membantu membuat gambar lebih seragam untuk pemrosesan hilir. Normalisasi gambar mencakup operasi berikut:

• Gambar besar diubah ukurannya menjadi tinggi dan lebar maksimum untuk membuatnya seragam.
• Untuk gambar yang memiliki metadata yang menentukan orientasi, rotasi gambar disesuaikan untuk pemuatan vertikal.

Perhatikan bahwa mengaktifkan imageAction (mengatur parameter ini ke selain none) akan dikenakan biaya tambahan untuk ekstraksi gambar sesuai dengan harga Pencarian Azure AI.

1. Buat atau perbarui pengindeks untuk mengatur properti konfigurasi:

   {
     "parameters": {
       "configuration": {
         "dataToExtract": "contentAndMetadata",
         "parsingMode": "default",
         "imageAction": "generateNormalizedImages"
       }
     }
   }
   

2. Atur dataToExtract ke contentAndMetadata (diperlukan).

3. Verifikasi bahwa parsingMode diatur ke default (diperlukan).

   Parameter ini menentukan granularitas dokumen pencarian yang dibuat dalam indeks. Mode default menyiapkan korespondensi satu-ke-satu sehingga satu blob menghasilkan satu dokumen pencarian. Jika dokumen besar, atau jika keterampilan memerlukan potongan teks yang lebih kecil, Anda dapat menambahkan keterampilan Pemisahan Teks yang membagi dokumen menjadi halaman untuk tujuan pemrosesan. Tetapi untuk skenario pencarian, satu blob per dokumen diperlukan jika pengayaan mencakup pemrosesan gambar.

4. Atur imageAction untuk mengaktifkan simpul normalized_images di pohon pengayaan (diperlukan):

   • generateNormalizedImages untuk menghasilkan array gambar yang dinormalisasi sebagai bagian dari pemecahan dokumen.

   • generateNormalizedImagePerPage (hanya berlaku untuk PDF) untuk menghasilkan array gambar yang dinormalisasi di mana setiap halaman dalam PDF dirender ke satu gambar output. Untuk file non-PDF, perilaku parameter ini mirip seolah-olah Anda telah mengatur generateNormalizedImages. Namun, pengaturan generateNormalizedImagePerPage dapat membuat operasi pengindeksan kurang berkinerja berdasarkan desain (terutama untuk dokumen besar) karena beberapa gambar harus dihasilkan.

5. Secara opsional, sesuaikan lebar atau tinggi gambar yang dinormalisasi yang dihasilkan:

normalizedImageMaxWidth diukur dalam piksel. Defaultnya adalah 2.000. Nilai maksimum adalah 10.000.

normalizedImageMaxHeight diukur dalam piksel. Defaultnya adalah 2.000. Nilai maksimum adalah 10.000.

Tentang gambar yang dinormalisasi

Ketika imageAction diatur ke nilai selain tidak ada, bidang baru normalized_images berisi array gambar. Setiap gambar adalah jenis kompleks yang memiliki anggota berikut:

Nilai sampel dari normalized_images:

[
  {
    "data": "BASE64 ENCODED STRING OF A JPEG IMAGE",
    "width": 500,
    "height": 300,
    "originalWidth": 5000,  
    "originalHeight": 3000,
    "rotationFromOriginal": 90,
    "contentOffset": 500,
    "pageNumber": 2
  }
]

Menentukan set keterampilan untuk pemrosesan gambar

Bagian ini melengkapi artikel referensi keterampilan dengan menyediakan konteks untuk bekerja dengan input keterampilan, output, dan pola, karena berkaitan dengan pemrosesan gambar.

• Buat atau perbarui set keterampilan untuk menambahkan keterampilan.

Setelah kerangka kerja dasar rangkaian keterampilan Anda dibuat dan Foundry Tools dikonfigurasi, Anda dapat fokus pada setiap keterampilan gambar individual, menentukan input-input dan konteks sumber, serta memetakan keluaran ke bidang di indeks maupun penyimpanan pengetahuan.

Contoh input untuk pemrosesan gambar

Seperti disebutkan, gambar diekstrak selama pemecahan dokumen dan kemudian dinormalisasi sebagai langkah awal. Gambar yang dinormalisasi adalah input ke keterampilan pemrosesan gambar apa pun, dan selalu diwakili dalam pohon dokumen yang diperkaya dengan salah satu dari dua cara:

• /document/normalized_images/* adalah untuk dokumen yang diproses secara keseluruhan.

{
  "@odata.type": "#Microsoft.Skills.Custom.ChatCompletionSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://contoso.openai.azure.com/openai/deployments/contoso-gpt-4o/chat/completions?api-version=2025-01-01-preview",
  "apiKey": "<YOUR-API-KEY here>",
  "inputs": [
    {
      "name": "image",
      "source": "/document/normalized_images/*/data"
    },
    {
      "name": "systemMessage",
      "source": "='You are a useful artificial intelligence assistant that helps people.'"
    },
    {
      "name": "userMessage",
      "source": "='Describe what you see in this image in 20 words or less in Spanish.'"
    }
  ],
  "outputs": [
    {
      "name": "response",
      "targetName": "captionedImage"
    }
  ]
}

Contoh menggunakan respons skema JSON dengan input teks

Contoh ini menunjukkan cara menggunakan output terstruktur untuk model bahasa. Kemampuan ini saat ini sebagian besar didukung oleh model bahasa OpenAI, meskipun itu mungkin berubah di masa depan.

{
  "@odata.type": "#Microsoft.Skills.Custom.ChatCompletionSkill",
  "context": "/document/content",
  "uri": "https://contoso.openai.azure.com/openai/deployments/contoso-gpt-4o/chat/completions?api-version=2025-01-01-preview",
  "apiKey": "<YOUR-API-KEY here>",
  "inputs": [
    {
      "name": "systemMessage",
      "source": "='You are a useful artificial intelligence assistant that helps people.'"
    },
    {
      "name": "userMessage",
      "source": "='How many languages are there in the world and what are they?'"
    }
  ],
  "response_format": {
    "type": "json_schema",
    "json_schema": {
      "name": "structured_output",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "total": {
            "type": "number"
          },
          "languages": {
            "type": "array",
            "items": {
              "type": "string"
            }
          }
        },
        "required": [
          "total",
          "languages"
        ],
        "additionalProperties": false
      }
    }
  },
  "outputs": [
    {
      "name": "response",
      "targetName": "responseJsonForLanguages"
    }
  ]
}

Memetakan output ke bidang pencarian

Teks output direpresentasikan sebagai simpul di pohon dokumen internal yang diperkaya, dan setiap simpul harus dipetakan ke bidang dalam indeks pencarian, atau ke proyeksi di penyimpanan pengetahuan, untuk membuat konten tersedia di aplikasi Anda.

Pertama, gunakan Buat atau Perbarui - Indeks untuk menambahkan bidang untuk menerima output keterampilan.

Dalam contoh kumpulan bidang berikut:

• content adalah konten blob.
• metadata_storage_name berisi nama file (diatur retrievable ke true).
• metadata_storage_path adalah jalur unik blob dan merupakan kunci dokumen default.
• merged_content adalah output dari Penggabungan Teks (berguna ketika gambar disisipkan).
• captioned_image adalah output keterampilan dan harus menjadi bidang string untuk mengambil semua output model bahasa dalam indeks pencarian.

"fields": [
  {
    "name": "content",
    "type": "Edm.String",
    "filterable": false,
    "retrievable": true,
    "searchable": true,
    "sortable": false
  },
  {
    "name": "metadata_storage_name",
    "type": "Edm.String",
    "filterable": true,
    "retrievable": true,
    "searchable": true,
    "sortable": false
  },
  {
    "name": "metadata_storage_path",
    "type": "Edm.String",
    "filterable": false,
    "key": true,
    "retrievable": true,
    "searchable": false,
    "sortable": false
  },
  {
    "name": "captioned_image",
    "type": "Edm.String",
    "filterable": false,
    "retrievable": true,
    "searchable": true,
    "sortable": false
  }
]

Selanjutnya, gunakan Perbarui - Pengindeks untuk memetakan output skillset (simpul di pohon pengayaan) ke bidang indeks.

Dokumen yang diperkaya bersifat internal. Untuk eksternalisasi simpul dalam pohon dokumen yang diperkaya, siapkan pemetaan bidang output yang menentukan bidang indeks mana yang menerima konten simpul. Data yang diperkaya diakses oleh aplikasi Anda melalui bidang indeks. Contoh berikut menunjukkan simpul teks (output OCR) dalam dokumen yang diperkaya yang dipetakan ke bidang teks dalam indeks pencarian.

"outputFieldMappings": [
  {
    "sourceFieldName": "/document/normalized_images/*/captionedImage",
    "targetFieldName": "captioned_image"
  }
]

Jalankan pengindeks untuk memanggil pengambilan dokumen sumber, pemrosesan gambar melalui keterangan model bahasa, dan pengindeksan.

Memverifikasi hasil

Jalankan kueri terhadap indeks untuk memeriksa hasil pemrosesan gambar. Gunakan Search Explorer sebagai klien pencarian, atau alat apa pun yang mengirim permintaan HTTP. Kueri berikut memilih bidang yang berisi output pemrosesan gambar.

POST /indexes/[index name]/docs/search?api-version=[api-version]
{
  "search": "A cat in a picture",
  "select": "metadata_storage_name, captioned_image"
}

Konten terkait

• Membuat pengindeks (REST)
• Keterampilan GenAI Prompt
• Cara membuat set keterampilan
• Memetakan output yang telah diperkaya ke dalam bidang