Memahami dan membuat titik akhir batch

Untuk mendapatkan model untuk menghasilkan prediksi batch, Anda dapat menyebarkan model ke titik akhir batch.

Anda akan mempelajari cara menggunakan titik akhir batch untuk penilaian batch asinkron.

Prediksi batch

Untuk mendapatkan prediksi batch, Anda dapat menyebarkan model ke titik akhir. Titik akhir adalah endpoint HTTPS yang dapat Anda panggil untuk memicu tugas pemrosesan penilaian secara batch. Keuntungan dari titik akhir seperti itu adalah Anda dapat memicu pekerjaan penilaian batch dari layanan lain, seperti Azure Synapse Analytics atau Azure Databricks. Titik akhir batch memungkinkan Anda mengintegrasikan penilaian batch dengan alur penyerapan dan transformasi data yang ada.

Setiap kali titik akhir dipanggil, pekerjaan penilaian secara batch dikirimkan ke ruang kerja Azure Machine Learning. Pekerjaan ini biasanya menggunakan kluster komputasi untuk menilai beberapa input. Hasilnya dapat disimpan di datastore, yang terhubung ke ruang kerja Azure Machine Learning.

Membuat titik akhir batch

Untuk menyebarkan model ke titik akhir batch, Anda harus terlebih dahulu membuat titik akhir batch.

Untuk membuat titik akhir batch, Anda akan menggunakan kelas BatchEndpoint. Nama titik akhir batch harus unik dalam wilayah Azure.

Untuk membuat titik akhir, gunakan perintah berikut:

# create a batch endpoint
endpoint = BatchEndpoint(
    name="endpoint-example",
    description="A batch endpoint",
)

ml_client.batch_endpoints.begin_create_or_update(endpoint)

Menyebarkan sebuah model ke titik akhir batch

Anda dapat menyebarkan beberapa model ke titik akhir batch. Setiap kali Anda memanggil titik akhir batch, yang memicu pekerjaan penilaian batch, penyebaran default akan digunakan kecuali ditentukan sebaliknya.

Menggunakan kluster komputasi untuk penyebaran batch

Komputasi ideal yang digunakan untuk penyebaran batch adalah kluster komputasi Azure Machine Learning. Jika Anda ingin pekerjaan penilaian batch memproses data baru dalam batch paralel, Anda perlu menyediakan kluster komputasi dengan lebih dari satu instans maksimum.

Untuk membuat kluster komputasi, Anda dapat menggunakan kelas AMLCompute.

from azure.ai.ml.entities import AmlCompute

cpu_cluster = AmlCompute(
    name="aml-cluster",
    type="amlcompute",
    size="STANDARD_DS11_V2",
    min_instances=0,
    max_instances=4,
    idle_time_before_scale_down=120,
    tier="Dedicated",
)

cpu_cluster = ml_client.compute.begin_create_or_update(cpu_cluster)