Merancang dan mengimplementasikan alur data dengan Azure Databricks
Menengah
Teknisi Data
Azure Databricks
Pelajari cara merancang dan mengimplementasikan alur data yang kuat di Azure Databricks menggunakan notebook dan Lakeflow Spark Declarative Pipelines, yang mencakup orkestrasi, penanganan kesalahan, dan logika tugas.
Tujuan pembelajaran
Pada akhir modul ini, Anda akan dapat:
- Merancang urutan operasi untuk alur data dari penyerapan hingga penyajian.
- Pilih antara notebook dan Lakeflow Spark Declarative Pipelines berdasarkan kasus penggunaan.
- Mendesain logika tugas, dependensi, dan pola eksekusi untuk Lakeflow Jobs.
- Terapkan strategi penanganan kesalahan, termasuk kebijakan dan ekspektasi coba lagi.
- Buat alur data menggunakan notebook dan Lakeflow Spark Declarative Pipelines.
Prasyarat
Prasyarat berikut harus diselesaikan:
- Pemahaman dasar tentang ruang kerja Azure Databricks
- Memahami dasar-dasar dan konsep tata kelola Unity Catalog
- Pengetahuan tentang prinsip SQL dan organisasi data