Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Halaman ini memberikan rekomendasi untuk administrator dan pengguna daya yang mengonfigurasi koneksi antara Azure Databricks dan sumber data eksternal dan layanan.
Anda dapat menyambungkan akun Azure Databricks Anda ke sumber data seperti penyimpanan objek cloud, sistem manajemen database relasional, layanan data streaming, dan platform perusahaan seperti CRD. Anda juga dapat menyambungkan akun Azure Databricks Anda ke layanan eksternal non-penyimpanan.
Mengonfigurasi koneksi ke penyimpanan objek cloud
Sebagian besar data yang digunakan oleh beban kerja Azure Databricks disimpan dalam penyimpanan objek cloud, seperti Azure Data Lake Storage atau AWS S3. Anda dapat mengelola akses ke penyimpanan objek cloud menggunakan salah satu hal berikut:
Unity Catalog (disarankan), yang menyediakan tata kelola data untuk data terstruktur dan tidak terstruktur dalam penyimpanan objek cloud. Lihat Menyambungkan ke penyimpanan objek cloud menggunakan Katalog Unity.
Konektor warisan dan pola koneksi. Lihat Konfigurasi akses ke penyimpanan objek cloud untuk Azure Databricks menggunakan pola warisan.
Koneksi Katalog Unity
Koneksi Katalog Unity adalah objek yang dapat diamankan yang menyimpan titik akhir dan kredensial yang diperlukan untuk mengakses sistem eksternal. Koneksi menyediakan cara yang diatur untuk mengelola autentikasi dan konfigurasi untuk sistem data eksternal, termasuk federasi, penyerapan terkelola, JDBC, dan HTTP. Untuk gambaran umum semua jenis koneksi dan cara memilih di antaranya, lihat Koneksi Katalog Unity.
Mengonfigurasi koneksi ke sistem data eksternal
Databricks menawarkan beberapa opsi untuk mengonfigurasi koneksi ke sistem data eksternal. Tabel berikut ini menyediakan gambaran umum tingkat tinggi tentang opsi ini:
| Option | Description |
|---|---|
| Konektor federasi kueri | Federasi kueri menyediakan akses baca-saja ke basis data relasional eksternal dengan meneruskan kueri Unity Catalog melalui JDBC. Sumber yang didukung termasuk PostgreSQL, MySQL, SQL Server, Snowflake, dan banyak lagi. |
| Konektor federasi katalog | Federasi katalog menghubungkan platform katalog eksternal, seperti Apache Hive Metastore atau Snowflake Horizon Catalog, sehingga Anda dapat mengkueri data mereka langsung di penyimpanan file tanpa pergerakan data. |
| Konektor penyerapan terkelola | Lakeflow Connect memungkinkan pengguna admin membuat koneksi dan alur penyerapan terkelola secara bersamaan dalam UI penyerapan data. Lihat Penghubung Terkelola di Lakeflow Connect. Jika pengguna yang akan membuat alur adalah pengguna non-admin atau berencana untuk menggunakan API Databricks, SDK Databricks, Databricks CLI, atau Bundel Otomatisasi Deklaratif, admin harus terlebih dahulu membuat koneksi di Catalog Explorer. Antarmuka ini mengharuskan pengguna menentukan koneksi yang ada saat membuat alur. Lihat Menyambungkan ke sumber penyerapan terkelola. |
| Konektor untuk streaming | Azure Databricks menyediakan konektor yang dioptimalkan untuk banyak sistem data streaming. Untuk semua sumber data streaming, Anda harus menghasilkan kredensial yang menyediakan akses dan memuat kredensial ini ke dalam Azure Databricks. Databricks merekomendasikan penyimpanan kredensial menggunakan rahasia, karena Anda dapat menggunakan rahasia untuk semua opsi konfigurasi dan di semua mode akses. Semua konektor data untuk sumber streaming mendukung meneruskan kredensial menggunakan opsi saat Anda menentukan kueri streaming. Lihat Konektor standar di Lakeflow Connect. |
| Integrasi pihak ketiga | Gunakan alat pihak ketiga untuk menyambungkan ke sumber data eksternal dan mengotomatiskan penyerapan data ke lakehouse. Beberapa solusi juga mencakup pembalikan ETL dan akses langsung ke data lakehouse dari sistem eksternal. Lihat Apa itu Databricks Partner Connect?. |
| API Sumber Data Spark | Gunakan Spark Data Source API untuk membaca dari dan menulis ke database eksternal. Databricks Runtime menyertakan konektor bawaan untuk sumber data yang umum digunakan. Anda juga dapat menggunakan koneksi Unity Catalog dengan JAR driver JDBC Anda sendiri, menginstal konektor pihak ketiga pada kluster khusus, atau membangun konektor kustom dengan PySpark DataSource API. Lihat Sumber data Spark. Untuk akses baca-saja, Databricks merekomendasikan Federasi Lakehouse. |
| JDBC | Sambungkan ke database eksternal menggunakan JDBC dengan koneksi Unity Catalog untuk akses yang diatur, isolasi kredensial, dan dukungan komputasi silang. Lihat Koneksi JDBC. Untuk konfigurasi JDBC warisan tanpa tata kelola Katalog Unity, lihat Database kueri menggunakan JDBC. Untuk federasi kueri baca-saja, Federasi Lakehouse selalu disukai. |
Mengonfigurasi koneksi ke layanan cloud non-penyimpanan
Katalog Unity mengatur akses ke layanan cloud non-penyimpanan menggunakan objek yang dapat diamankan yang disebut kredensial layanan. Kredensial layanan merangkum kredensial cloud jangka panjang yang menyediakan akses ke layanan cloud non-penyimpanan yang perlu disambungkan pengguna dari Azure Databricks. Lihat Menyambungkan ke layanan cloud eksternal menggunakan Katalog Unity.
Mengelola dan meminta akses ke sumber data dan layanan eksternal
Sebagian besar metode koneksi memerlukan hak istimewa yang ditinggikan pada sumber data atau layanan eksternal dan ruang kerja Azure Databricks. Dalam organisasi pada umumnya, hanya sedikit pengguna yang memiliki hak istimewa yang memadai baik di Azure Databricks maupun di penyedia data dan penyimpanan eksternal untuk mengonfigurasi koneksi data mereka sendiri.
Organisasi Anda mungkin telah mengonfigurasi akses ke sumber data atau layanan menggunakan salah satu pola yang dijelaskan dalam artikel yang ditautkan dari halaman ini. Jika organisasi Anda memiliki proses yang terdefinisi dengan baik untuk meminta akses ke data dan layanan pihak ketiga, Databricks merekomendasikan untuk mengikuti proses tersebut. Jika Anda tidak yakin cara mendapatkan akses ke sumber data, prosedur ini mungkin membantu:
- Gunakan Catalog Explorer untuk melihat tabel dan volume yang bisa Anda akses. Lihat Apa itu Catalog Explorer?.
- Tanyakan kepada rekan tim atau manajer Anda tentang sumber data yang dapat mereka akses.
- Sebagian besar organisasi menggunakan grup yang disinkronkan dari penyedia identitas mereka (misalnya: Okta atau Microsoft Entra ID) untuk mengelola izin bagi pengguna ruang kerja. Jika anggota tim Anda lain dapat mengakses sumber data yang perlu Anda akses, minta admin ruang kerja menambahkan Anda ke grup yang benar untuk memberikan akses.
- Jika tabel, volume, atau sumber data tertentu dikonfigurasi oleh rekan kerja, individu tersebut harus dapat memberi Anda akses ke data.
Beberapa organisasi melampirkan izin akses data ke kluster komputasi dan gudang SQL tertentu. Ini adalah model tata kelola warisan, tetapi jika organisasi Anda menggunakannya dan Anda ingin mempelajari sumber data mana yang tersedia pada sumber daya komputasi tertentu, hubungi pembuat komputasi yang tercantum di tab Komputasi .