Mengkueri data dingin dengan jendela panas

Jendela panas memungkinkan Anda mengkueri data dingin secara efisien tanpa perlu mengekspor data atau menggunakan alat lain. Gunakan jendela panas ketika ukuran data dingin besar dan data yang relevan dari kapan saja di masa lalu. Jendela panas didefinisikan dalam kebijakan cache.

Azure Data Explorer menyimpan datanya dalam penyimpanan jangka panjang yang andal dan menyimpan sebagian data ini pada node kluster. Kebijakan cache mengatur data mana yang di-cache. Data yang di-cache dianggap panas, sementara data lainnya dianggap dingin.

Untuk mengkueri data dingin, Azure Data Explorer memproses langkah pemuatan yang memerlukan akses tingkat penyimpanan dengan latensi yang jauh lebih tinggi daripada disk lokal. Ketika kueri terbatas pada jendela waktu kecil, sering disebut kueri "titik waktu", jumlah data yang akan diambil biasanya kecil, dan kueri akan selesai dengan cepat. Misalnya, forensik menganalisis kueri telemetri pada hari tertentu di masa lalu termasuk dalam kategori ini. Dampak pada durasi kueri tergantung pada ukuran data yang ditarik dari penyimpanan, dan bisa signifikan. Jika Anda memindai sejumlah besar data dingin, performa kueri dapat memperoleh manfaat dari menggunakan jendela panas.

Dokumen ini memperlihatkan kepada Anda cara menggunakan jendela panas untuk mengkueri data dingin.

Prasyarat

• Jika tidak memiliki langganan Azure, buat akun Azure gratis sebelum Anda memulai.
• Buat kluster dan database Azure Data Explorer.
• Menyerap data di kluster Anda dengan salah satu metode yang dijelaskan dalam gambaran umum penyerapan data Azure Data Explorer.

Mengonfigurasi skala otomatis pada kluster

Setelah mengubah kebijakan cache, kluster secara otomatis menyimpan data yang relevan pada disknya. Anda harus menskalakan kluster untuk mengakomodasi disk tambahan yang diperlukan untuk definisi cache baru. Sebaiknya konfigurasikan kluster untuk menggunakan pengaturan skala otomatis yang dioptimalkan.

1. Di portal Azure, buka sumber daya kluster Azure Data Explorer Anda. Di bawah Pengaturan, pilih Peluasan skala.

2. Di jendela Peluasan skala, pilih Skala otomatis yang dioptimalkan.

3. Pilih jumlah instans minimum dan jumlah instans maksimum. Rentang autoscaling kluster antara kedua angka tersebut, berdasarkan beban.

4. Pilih Simpan.

   

Sekarang Anda dapat mengharapkan performa optimal selama penggunaan jendela panas.

Atur jendela panas

Jendela panas adalah bagian dari sintaks perintah kebijakan cache dan diatur dengan .alter policy caching perintah .

1. Perhatikan kebijakan penembolokan awal dengan menggunakan .show policy caching perintah .

   .show table MyDatabase.MyTable policy caching 
   

2. Ubah kebijakan cache menggunakan sintaks berikut. Beberapa jendela panas dapat didefinisikan untuk satu database atau tabel.

   .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
         hot = <timespan> 
         [, hot_window = datetime(*from*) .. datetime(*to*)] 
         [, hot_window = datetime(*from*) .. datetime(*to*)] 
         ...
   

   Mana:

   • from: Waktu mulai jendela panas (tanggalwaktu)
   • to: Waktu akhir jendela panas (tanggalwaktu)

   Misalnya, kueri yang dijalankan di bawah pengaturan berikut akan memeriksa data 14 hari terakhir, pada data yang disimpan selama tiga tahun.

   .alter table MyTable policy caching 
           hot = 14d,
           hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
           hot_window = datetime(2021-04-01) .. datetime(2021-05-01)
   

Jalankan Kueri

Jalankan kueri atau kueri yang Anda inginkan selama periode waktu yang ditentukan di jendela panas.

Mengembalikan pengaturan

1. Gunakan pengaturan cache asli yang diambil di atas di Atur jendela panas.
2. Kembalikan kebijakan cache ke pengaturan asli dengan .alter policy caching perintah .

Karena Anda telah mengonfigurasi skala otomatis yang dioptimalkan untuk kluster tersebut, kluster akan menyusut ke ukuran aslinya.

Konten terkait

• Kebijakan cache (cache panas dan dingin)
• Optimalkan Skala Otomatis