Pengantar PolyBase

PolyBase adalah fitur yang digunakan SQL Server untuk mengaktifkan konsep virtualisasi data. PolyBase awalnya dirilis di SQL Server 2016 dan ditingkatkan di setiap versi SQL Server yang lebih baru. Namun, konsep umum mengakses data dari jarak jauh tanpa harus menyalin data berasal dari SQL Server 7.0 dengan diperkenalkannya Linked Server.

Tabel berikut mencantumkan versi SQL Server pertama yang mendukung berbagai fitur PolyBase.

Untuk informasi selengkapnya tentang PolyBase, lihat fitur dan batasan PolyBase.

Peningkatan PolyBase di SQL Server 2025

• Dukungan asli untuk CSV, Parquet, & Delta 1: PolyBase Query Service untuk penginstalan Data Eksternal tidak lagi diperlukan untuk menggunakan OPENROWSET, CREATE EXTERNAL TABLE, atau CREATE EXTERNAL TABLE AS SELECT dengan jenis data eksternal berikut: Parquet, Delta, Azure Blob Storage (ABS), Azure Data Lake Storage (ADLS), atau S3-Compatible Object Storage.

• Gunakan sumber data ODBC generik di Linux: Untuk informasi selengkapnya, lihat Mengonfigurasi PolyBase untuk mengakses data eksternal dengan jenis generik ODBC.

• Dukungan TDS 8.0: Saat menggunakan Microsoft ODBC Driver 18 untuk SQL Server, TDS 8.0 tidak didukung untuk SQL Server sebagai sumber data eksternal.

Penyimpanan objek yang kompatibel dengan S3

SQL Server 2025 mendukung penyimpanan objek yang kompatibel dengan S3. Untuk mengaktifkan integrasi ini, SQL Server 2025 menggunakan arsitektur kerangka kerja konektor REST API yang mengikuti kerangka kerja S3. Penyimpanan objek apa pun yang mendukung kerangka kerja S3 juga berfungsi dengan SQL Server 2025. Solusi penyimpanan objek yang kompatibel dengan S3 dapat berjalan secara lokal, di jaringan Anda, di cloud, atau di lingkungan hibrid.

Penyimpanan objek, juga dikenal sebagai penyimpanan berbasis objek, adalah strategi yang mengelola dan memanipulasi penyimpanan data sebagai unit yang berbeda, yang disebut objek. Objek-objek ini disimpan dalam satu gudang dan tidak tertanam dalam file di dalam folder lain. Sebagai gantinya, penyimpanan objek menggabungkan potongan data yang membentuk file, menambahkan semua metadata yang relevan ke file tersebut, dan melampirkan pengidentifikasi kustom.

Beberapa fitur utama penyimpanan objek dibandingkan dengan sistem file tradisional adalah:

• Menyimpan metadata yang disematkan dalam file.
• Memungkinkan file memiliki atribut seperti tag.
• Lebih hemat biaya untuk diskalakan dan lebih mudah dipertahankan.
• Dioptimalkan untuk data dalam jumlah besar, seperti Big Data, Internet of Things (IoT), AI, Pembelajaran Mesin, dan analitik.
• Tidak disarankan untuk beban kerja pemrosesan transaksi atau transaksi online (OLTP) yang tinggi.

Anda juga dapat menggunakan penyimpanan objek yang kompatibel dengan S3 untuk skenario pencadangan dan pemulihan dengan menggunakan perintah BACKUP TO URL. Untuk informasi selengkapnya, lihat pencadangan dan pemulihan SQL Server dengan penyimpanan objek yang kompatibel dengan S3.

Kerangka kerja standar S3 diadopsi secara luas, dan banyak penyedia penyimpanan utama sekarang menawarkan solusi penyimpanan objek yang kompatibel dengan S3. Jika solusi menawarkan kompatibilitas dengan S3 REST API, solusi tersebut kompatibel dengan SQL Server 2025. Untuk daftar penyedia penyimpanan objek yang didukung, lihat Penyedia penyimpanan objek yang kompatibel dengan S3.

Beberapa mitra penyimpanan objek menawarkan kemampuan untuk menjalankan solusi mereka sebagai perangkat lunak yang mampu memvirtualisasi penyimpanan Anda saat ini. Anda dapat menginstal dan mencoba solusi ini di komputer atau komputer virtual (VM) Anda sendiri.

Layanan PolyBase vs. fitur REST API PolyBase

Untuk menggunakan PolyBase, Anda harus menginstal PolyBase Query Service untuk Data Eksternal dan mengaktifkan PolyBase pada tingkat instans dengan menggunakan sp_configure. Penyiapan PolyBase menginstal dua layanan PolyBase, SQL Server PolyBase Engine dan SQL Server PolyBase Data Movement.

• Engine PolyBase SQL Server

  • Executable layanan: mpdwsvc.exe -dweng
  • Mengurai kueri.
  • Menghasilkan rencana kueri.
  • Mendistribusikan pekerjaan ke simpul komputasi (SQL Server 2019).
  • Memproses hasil dari node komputasi dan mengirimkan hasil kembali ke klien (SQL Server 2019).

• Pergerakan Data PolyBase SQL Server

  • Executable layanan: mpdwsvc.exe -dms
  • Mentransfer data antara sumber data eksternal dan antara kepala PolyBase dan simpul komputasi (SQL Server 2019).
  • Menyisipkan data ke sumber data lain, seperti Azure Storage.

Sumber data seperti sumber berbasis SQL Server, Oracle, MongoDB, atau ODBC menggunakan layanan PolyBase ini. Sumber data yang menggunakan arsitektur PolyBase berbasis REST API SQL Server 2025 tidak mengharuskan layanan ini berjalan atau dikonfigurasi, tetapi Layanan Kueri PolyBase untuk Data Eksternal masih harus diinstal dan diaktifkan.

Anda dapat menggunakan REST API PolyBase untuk mengakses Azure Data Lake Storage, Azure Blob Storage, penyimpanan objek yang kompatibel dengan S3, dan format file seperti file Parquet, Delta, dan CSV. Sumber data yang didukung sebelumnya masih menggunakan layanan SQL Server PolyBase Engine dan SQL Server PolyBase Data Movement.

Sumber data	Layanan PolyBase	Fitur REST API PolyBase
Azure Blob Storage
Azure Data Lake Storage
Penyimpanan objek yang kompatibel dengan S3
SQL Server
Oracle
Teradata
MongoDB atau Azure Cosmos DB API untuk MongoDB
Konektivitas Database Terbuka Generik (ODBC)
Operasi massal