Aliran data streaming (pratinjau)

Organisasi ingin bekerja dengan data saat data masuk, bukan hari atau minggu kemudian. Visi Power BI sederhana: perbedaan antara batch, real-time, dan streaming harus hilang. Pengguna harus dapat bekerja dengan semua data segera setelah tersedia. Analis biasanya memerlukan bantuan teknis untuk menangani sumber data streaming, persiapan data, operasi berbasis waktu yang kompleks, dan visualisasi data real-time. Departemen TI sering mengandalkan sistem yang dibuat khusus, dan kombinasi teknologi dari berbagai vendor, untuk melakukan analisis tepat waktu pada data. Tanpa kompleksitas ini, mereka tidak dapat memberikan informasi kepada pembuat keputusan dalam waktu dekat secara real time.

Alur data streaming memungkinkan pembuat untuk menyambungkan, memasukkan, menggabungkan, memodelkan, dan membuat laporan berdasarkan data yang mengalir hampir secara real-time langsung di layanan Power BI. Layanan ini memungkinkan pengalaman seret dan lepas tanpa perlu menulis kode. Anda dapat mencampur dan mencocokkan data streaming dengan data batch jika Perlu melalui antarmuka pengguna (UI) yang menyertakan tampilan diagram untuk mashup data yang mudah. Item akhir yang dihasilkan adalah aliran data, yang dapat dikonsumsi secara real time untuk membuat pelaporan yang sangat interaktif dan hampir real-time. Semua kemampuan visualisasi data dalam Power BI berfungsi dengan data streaming, seperti halnya dengan data batch.

• Buat keputusan dengan yakin hampir secara real-time. Organisasi bisa lebih cepat dan mengambil tindakan yang bermakna berdasarkan wawasan terbaru.
• Demokratisasi data streaming. Organisasi dapat membuat data lebih mudah diakses dan lebih mudah ditafsirkan dengan solusi tanpa kode, dan aksesibilitas ini mengurangi sumber daya TI.
• Percepat waktu untuk memperoleh insight dengan menggunakan solusi analitik streaming menyeluruh dengan penyimpanan data terintegrasi dan intelijen bisnis.

Aliran data streaming mendukung DirectQuery dan refresh halaman otomatis/deteksi perubahan. Dukungan ini memungkinkan pengguna untuk membuat laporan yang diperbarui hampir secara real time, hingga setiap detik, dengan menggunakan visual apa pun yang tersedia di Power BI.

Persyaratan

Sebelum membuat aliran data streaming pertama, pastikan Anda memenuhi semua persyaratan berikut:

• Untuk membuat dan menjalankan aliran data streaming, Anda memerlukan ruang kerja yang merupakan bagian dari kapasitas Premium atau lisensi Premium Per Pengguna (PPU).

  Penting

  Jika Anda menggunakan lisensi PPU dan ingin pengguna lain menggunakan laporan yang dibuat dengan aliran data streaming yang diperbarui secara real time, mereka juga memerlukan lisensi PPU. Mereka kemudian dapat menggunakan laporan dengan frekuensi refresh yang sama dengan yang Anda siapkan, jika refresh tersebut lebih cepat dari setiap 30 menit.

• Aktifkan aliran data untuk penyewa Anda. Untuk informasi selengkapnya, lihat Mengaktifkan aliran data di Power BI Premium.

• Untuk memastikan aliran data streaming berfungsi dalam kapasitas Premium Anda, mesin komputasi yang ditingkatkan perlu diaktifkan. Mesin dinyalakan secara default, tetapi admin kapasitas Power BI dapat mematikannya. Jika demikian, hubungi admin Anda untuk mengaktifkannya.

  Mesin komputasi yang disempurnakan hanya tersedia pada kapasitas Premium P atau Embedded A3 ke atas. Untuk menggunakan dataflow streaming, Anda memerlukan PPU, kapasitas Premium P ukuran berapa pun, atau kapasitas Embedded A3 atau yang lebih besar. Untuk informasi selengkapnya tentang SKU Premium dan spesifikasinya, lihat Kapasitas dan SKU di Power BI analitik yang disematkan.

• Untuk membuat laporan yang diperbarui secara real time, pastikan admin Anda (kapasitas atau Power BI untuk PPU) telah mengaktifkan refresh halaman otomatis. Pastikan juga bahwa admin telah mengizinkan interval refresh minimum yang sesuai dengan kebutuhan Anda. Untuk informasi selengkapnya, lihat Refresh halaman otomatis di Power BI.

Membuat aliran data streaming

Aliran data streaming, seperti relatif aliran datanya, adalah kumpulan entitas (tabel) yang dibuat dan dikelola di ruang kerja di layanan Power BI. Tabel adalah sekumpulan bidang yang digunakan untuk menyimpan data, sama seperti tabel dalam database.

Anda dapat menambahkan dan mengedit tabel di aliran data streaming langsung dari ruang kerja tempat aliran data Anda dibuat. Perbedaan utama dengan aliran data reguler adalah Anda tidak perlu khawatir tentang refresh atau frekuensi. Karena sifat data streaming, ada aliran berkelanjutan yang masuk. Refresh bersifat konstan atau tak terbatas kecuali Anda menghentikannya.

Membuat aliran data streaming:

1. Buka layanan Power BI di browser, lalu pilih ruang kerja yang diaktifkan Premium. (Aliran data streaming, seperti aliran data reguler, tidak tersedia di Ruang Kerja Saya.)

2. Pilih menu drop-down Baru, lalu pilih Alur data streaming.

   

3. Di panel samping yang terbuka, Anda harus memberi nama aliran data streaming Anda. Masukkan nama dalam kotak Nama (1), lalu pilih Buat (2).

   

   Tampilan diagram kosong untuk aliran data streaming muncul.

Cuplikan layar berikut menunjukkan aliran data yang sudah selesai. Ini menyoroti semua bagian yang tersedia untuk Anda untuk penulisan di antarmuka aliran data streaming.

1. Pita: Pada pita, bagian mengikuti urutan proses analitik "klasik": input (juga dikenal sebagai sumber data), transformasi (operasi ETL streaming), output, dan tombol untuk menyimpan kemajuan Anda.

2. Tampilan diagram: Tampilan ini adalah representasi grafis dari aliran data Anda, dari input hingga operasi hingga output.

3. Panel samping: Bergantung pada komponen mana yang Anda pilih dalam tampilan diagram, Anda memiliki pengaturan untuk mengubah setiap input, transformasi, atau output.

4. Tab pratinjau data, kesalahan penulisan, dan kesalahan runtime: Untuk setiap kartu yang ditampilkan, pratinjau data menampilkan hasil untuk langkah tersebut (secara langsung untuk input dan sesuai permintaan untuk transformasi dan output).

   Bagian ini juga meringkas kesalahan penulisan atau peringatan yang mungkin Anda miliki di aliran data Anda. Memilih setiap kesalahan atau peringatan akan memilih transformasi tersebut. Selain itu, Anda dapat mengakses kesalahan runtime setelah aliran data mulai berjalan, seperti pesan yang terlewat.

   Anda selalu dapat meminimalkan bagian aliran data streaming ini dengan memilih panah di sudut kanan atas.

Aliran data streaming dibangun di atas tiga komponen utama: input streaming, transformasi, dan output. Anda dapat memiliki komponen sebanyak yang diinginkan, termasuk beberapa input, cabang paralel dengan beberapa transformasi, dan beberapa output.

Tambahkan input streaming

Untuk menambahkan input streaming, pilih ikon pada pita dan berikan informasi yang diperlukan di panel samping untuk menyiapkannya. Mulai Juli 2021, pratinjau aliran data streaming mendukung Azure Event Hubs dan Azure IoT Hub sebagai sumber input.

Layanan Azure Event Hubs dan Azure IoT Hub dibangun di atas arsitektur umum untuk memfasilitasi penyerapan dan konsumsi peristiwa yang cepat dan dapat diskalakan. Azure IoT Hub secara khusus dirancang sebagai hub pesan pusat untuk komunikasi dua arah antara aplikasi IoT dan perangkat terlampirnya.

Azure Event Hubs

Azure Event Hubs adalah platform streaming data besar dan layanan penyerapan peristiwa. Layanan ini dapat menerima dan memproses jutaan peristiwa per detik. Data yang dikirim ke hub peristiwa dapat ditransformasikan dan disimpan menggunakan penyedia analitik real-time apa pun, atau Anda dapat menggunakan adapter pemrosesan batch atau adapter penyimpanan.

Untuk mengonfigurasi pusat aktivitas sebagai input untuk aliran data streaming, pilih ikon Pusat Aktivitas. Kartu muncul dalam tampilan diagram, termasuk panel samping untuk konfigurasinya.

Anda memiliki opsi untuk menempelkan string koneksi Azure Event Hubs. Aliran data streaming mengisi semua informasi yang diperlukan, termasuk grup konsumen opsional (yang secara default $Default). Jika Anda ingin memasukkan semua bidang secara manual, Anda dapat mengaktifkan tombol entri manual untuk menampilkannya. Untuk mempelajari selengkapnya, lihat Dapatkan string koneksi Event Hubs.

Setelah menyiapkan informasi masuk Azure Event Hubs dan memilih Sambungkan, Anda dapat menambahkan bidang secara manual menggunakan + Tambahkan bidang jika Anda mengetahui nama bidang. Atau, Anda dapat mendeteksi kolom dan jenis data secara otomatis berdasarkan sampel pesan yang masuk dengan memilih Autodetect fields. Memilih ikon roda gigi memungkinkan Anda untuk mengedit kredensial jika diperlukan.

Saat aliran data streaming mendeteksi bidang, Anda dapat melihatnya dalam daftar. Ada juga pratinjau langsung pesan masuk dalam tabel Pratinjau Data di bawah tampilan diagram.

Anda selalu bisa mengedit nama bidang, atau menghapus atau mengubah tipe data, dengan memilih opsi lainnya (...) di samping setiap bidang. Anda juga dapat memperluas, memilih, dan mengedit bidang berlapis apa pun dari pesan masuk, seperti yang ditunjukkan pada gambar berikut.

Azure IoT Hub

IoT Hub adalah layanan terkelola yang dihosting di cloud. Azure IoT Hub bertindak sebagai hub pesan pusat untuk komunikasi dua arah antara aplikasi IoT dan perangkat terlampirnya. Anda dapat menghubungkan jutaan perangkat dan solusi backend mereka dengan andal dan aman. Hampir semua perangkat dapat tersambung ke IoT Hub.

Konfigurasi IoT Hub serupa dengan konfigurasi Event Hubs karena arsitektur yang sama. Namun, ada beberapa perbedaan, termasuk lokasi string koneksi yang kompatibel dengan Event Hubs untuk titik akhir bawaan. Untuk mempelajari selengkapnya, lihat Membaca pesan perangkat ke cloud dari titik akhir bawaan.

Setelah Anda menempelkan string koneksi untuk titik akhir bawaan, semua fungsi untuk memilih, menambahkan, mendeteksi secara otomatis, dan mengedit bidang yang masuk dari IoT Hub sama seperti pada Event Hubs. Anda juga dapat mengedit kredensial dengan memilih ikon roda gigi.

Saat menggunakan data streaming dari Azure Event Hubs atau IoT Hub, Anda memiliki akses ke bidang waktu metadata berikut dalam aliran data streaming Anda:

• EventProcessedUtcTime: Tanggal dan waktu peristiwa diproses.
• EventEnqueuedUtcTime: Tanggal dan waktu peristiwa diterima.

Tidak satu pun dari bidang ini muncul di pratinjau input. Anda perlu menambahkannya secara manual.

penyimpanan blob

Penyimpanan Azure Blob adalah solusi penyimpanan objek Microsoft untuk cloud. Penyimpanan Blob dioptimalkan untuk menyimpan sejumlah besar data yang tidak terstruktur. Data tidak terstruktur adalah data yang tidak mematuhi model atau definisi data tertentu, seperti data teks atau biner.

Anda dapat menggunakan Azure Blobs sebagai input streaming atau referensi. Blob streaming diperiksa setiap detik untuk pembaruan. Tidak seperti blob streaming, blob referensi hanya dimuat di awal refresh. Ini adalah data statis yang tidak diharapkan berubah, dan batas yang disarankan untuk data statis adalah 50 MB atau kurang.

Power BI mengharapkan agar blob referensi digunakan bersama sumber data streaming, misalnya melalui operasi JOIN. Oleh karena itu, aliran data streaming dengan blob referensi juga harus memiliki sumber streaming.

Konfigurasi untuk Azure Blobs sedikit berbeda dengan simpul Azure Event Hubs. Untuk menemukan string koneksi Azure Blob Anda, lihat Menampilkan kunci akses akun.

Setelah memasukkan string koneksi Blob, Anda perlu memberikan nama kontainer Anda. Anda juga perlu memasukkan pola jalur dalam direktori Anda untuk mengakses file yang ingin Anda tetapkan sebagai sumber untuk aliran data Anda.

Untuk blob streaming, pola jalur direktori diharapkan menjadi nilai dinamis. Tanggal diperlukan untuk menjadi bagian dari jalur file untuk blob – dirujuk sebagai {date}. Selain itu, tanda bintang (*) dalam pola jalur, seperti {date}/{time}/*.json, tidak didukung.

Misalnya, jika Anda memiliki blob yang disebut ExampleContainer bahwa Anda menyimpan file .json berlapis di dalamnya, di mana tingkat pertama adalah tanggal pembuatan dan tingkat kedua adalah jam pembuatan (yyyy-mm-dd/hh), maka input Kontainer Anda adalah "ExampleContainer". Pola jalur Direktori adalah "{date}/{time}" di mana Anda dapat mengubah pola tanggal dan waktu.

Setelah blob Anda tersambung ke titik akhir, semua fungsi untuk memilih, menambahkan, mendeteksi secara otomatis, dan mengedit bidang yang berasal dari Azure Blob sama seperti di Event Hubs. Anda juga dapat mengedit kredensial dengan memilih ikon roda gigi.

Sering kali, saat bekerja dengan data waktu nyata, data diringkas, dan pengidentifikasi digunakan untuk merepresentasikan objek. Salah satu kemungkinan penggunaan blob juga dapat digunakan sebagai data referensi untuk sumber data streaming Anda. Data referensi memungkinkan Anda menggabungkan data statis ke data streaming untuk memperkaya aliran Anda untuk analisis. Contoh cepat kapan fitur ini akan membantu adalah jika Anda menginstal sensor di department store yang berbeda untuk mengukur berapa banyak orang yang memasuki toko pada waktu tertentu. Biasanya, ID sensor perlu digabungkan ke tabel statis untuk menunjukkan department store mana dan lokasi sensor berada. Sekarang dengan data referensi, dimungkinkan untuk menggabungkan data ini selama fase penyerapan untuk memudahkan untuk melihat penyimpanan mana yang memiliki output pengguna tertinggi.

Jenis data

Jenis data yang tersedia untuk bidang aliran data streaming meliputi:

• DateTime: Bidang tanggal dan waktu dalam format ISO
• Float: Angka desimal
• Int: Bilangan bulat
• Rekaman: Objek berlapis dengan beberapa rekaman
• String: Teks

Tambahkan transformasi data streaming

Transformasi data streaming secara inheren berbeda dari transformasi data batch. Hampir semua data streaming memiliki komponen waktu yang memengaruhi tugas persiapan data apa pun yang terlibat.

Untuk menambahkan transformasi data streaming ke aliran data Anda, pilih ikon transformasi pada pita untuk transformasi tersebut. Kartu masing-masing muncul dalam tampilan diagram. Setelah Anda memilihnya, Anda akan melihat panel sisi transformasi tersebut untuk mengonfigurasinya.

Pada Juli 2021, aliran data streaming mendukung transformasi streaming berikut.

Filter

Gunakan transformasi Filter untuk memfilter peristiwa berdasarkan nilai bidang dalam input. Bergantung pada jenis data (angka atau teks), transformasi mempertahankan nilai yang cocok dengan kondisi yang dipilih.

Mengelola Bidang

Transformasi Kelola bidang memungkinkan Anda menambahkan, menghapus, atau mengganti nama bidang yang masuk dari input atau transformasi lain. Pengaturan di panel sisi memberi Anda opsi untuk menambahkan bidang baru dengan memilih Tambahkan bidang atau menambahkan semua bidang sekaligus.

Agregat

Anda dapat menggunakan transformasi Agregat untuk menghitung agregasi (Jumlah, Minimum, Maksimum, atau Rata) setiap kali peristiwa baru terjadi selama periode waktu tertentu. Operasi ini juga memungkinkan Anda untuk memfilter atau memisahkan agregasi berdasarkan dimensi lain dalam data Anda. Anda dapat memiliki satu atau beberapa agregasi dalam transformasi yang sama.

Untuk menambahkan agregasi, pilih ikon transformasi. Kemudian hubungkan input, pilih agregasi, tambahkan filter atau dimensi irisan apa pun, dan pilih periode waktu saat Anda ingin menghitung agregasi. Contoh ini menghitung jumlah nilai tol berdasarkan status tempat kendaraan berasal dari selama 10 detik terakhir.

Untuk menambahkan agregasi lain ke transformasi yang sama, pilih Tambahkan fungsi agregat. Perlu diingat bahwa filter atau irisan berlaku untuk semua agregasi dalam transformasi.

Bergabung

Gunakan transformasi Gabungan untuk menggabungkan peristiwa dari dua input berdasarkan pasangan bidang yang Anda pilih. Jika Anda tidak memilih pasangan bidang, gabungan didasarkan pada waktu secara default. Setelan default inilah yang membedakan transformasi ini dari transformasi batch.

Seperti halnya gabungan reguler, Anda memiliki opsi yang berbeda untuk logika gabungan Anda:

• Gabungan dalam: Hanya sertakan rekaman dari kedua tabel tempat pasangan cocok. Dalam contoh ini, di situlah plat nomor cocok dengan kedua input.
• Gabungan luar kiri: Sertakan semua rekaman dari tabel kiri (pertama) dan hanya rekaman dari kedua yang cocok dengan sepasang bidang. Jika tidak ada kecocokan, bidang dari input kedua diatur kosong.

Untuk memilih jenis gabungan, pilih ikon untuk jenis pilihan di panel samping.

Terakhir, pilih selama periode waktu apa Anda ingin gabungan dihitung. Dalam contoh ini, gabungan terlihat pada 10 detik terakhir. Perlu diingat bahwa semakin lama periodenya, semakin jarang output—dan semakin banyak sumber daya pemrosesan yang Anda gunakan untuk transformasi.

Secara default, semua bidang dari kedua tabel disertakan. Awalan kiri (node pertama) dan kanan (node kedua) dalam output membantu Anda membedakan sumbernya.

Kelompokkan berdasarkan

Gunakan transformasi Group by untuk menghitung agregasi di semua peristiwa dalam rentang waktu tertentu. Anda dapat mengelompokkan menurut nilai dalam satu atau beberapa bidang. Ini mirip dengan transformasi Agregat tetapi menyediakan lebih banyak opsi untuk agregasi. Ini juga mencakup opsi rentang waktu yang lebih kompleks. Juga mirip dengan Agregat, Anda dapat menambahkan lebih dari satu agregasi per transformasi.

Agregasi yang tersedia dalam transformasi ini adalah: Rata-rata, Hitungan, Maksimum, Minimum, Persentil (berkelanjutan dan diskrit), Standar Deviasi, Jumlah, dan Varians.

Untuk mengonfigurasi transformasi ini:

1. Pilih agregasi pilihan Anda.
2. Pilih bidang yang ingin Anda agregat.
3. Pilih bidang pengelompokan opsional jika Anda ingin mendapatkan perhitungan agregat berdasarkan dimensi atau kategori lain (misalnya, State).
4. Pilih fungsi Anda untuk jendela waktu.

Untuk menambahkan agregasi lain ke transformasi yang sama, pilih Tambahkan fungsi agregat. Perlu diingat bahwa bidang Kelompokkan menurut dan fungsi windowing berlaku untuk semua agregasi dalam transformasi.

Stempel waktu untuk akhir jendela waktu disediakan sebagai bagian dari output transformasi untuk referensi.

Bagian selanjutnya dalam artikel ini menjelaskan setiap jenis jendela waktu yang tersedia untuk transformasi ini.

Gabungan

Gunakan transformasi Union untuk menyambungkan dua atau lebih input guna menambahkan peristiwa dengan bidang bersama (dengan nama dan jenis data yang sama) ke dalam satu tabel. Bidang yang tidak cocok dihilangkan dan tidak disertakan dalam output.

Siapkan fungsi jendela waktu

Jendela waktu adalah salah satu konsep paling kompleks dalam data streaming. Konsep ini berada di inti analitik streaming.

Dengan aliran data streaming, Anda dapat menetapkan jendela waktu saat mengagregasikan data sebagai opsi pada transformasi Group by.

Ada lima jenis jendela waktu yang dapat dipilih: tumbling, hopping, sliding, session, dan snapshot.

Jendela bergulir

Tumbling adalah jenis jendela waktu yang paling umum. Karakteristik utama jendela tumbling adalah bahwa jendela tersebut berulang, memiliki panjang waktu yang sama, dan tidak tumpang tindih. Sebuah kejadian tidak dapat termasuk dalam lebih dari satu jendela tumbling.

Saat menyiapkan jendela tumbling dalam alur data streaming, Anda perlu menentukan durasi jendela, yang dalam hal ini sama untuk semua jendela. Anda juga dapat memberikan offset opsional. Secara default, jendela tumbling menyertakan akhir jendela serta mengecualikan bagian awal. Anda dapat menggunakan parameter ini untuk mengubah perilaku ini dan menyertakan peristiwa di awal jendela dan mengecualikan yang pada akhirnya.

Jendela lompatan

Jendela hop “melompat” maju seiring waktu dengan interval tetap. Anda dapat menganggapnya sebagai jendela tumbling yang dapat tumpang tindih serta muncul lebih sering dari ukuran jendela. Peristiwa dapat berada di lebih dari satu kumpulan hasil untuk jendela hopping. Untuk membuat jendela hopping sama dengan jendela tumbling, Anda dapat menentukan ukuran hop agar sama dengan ukuran jendela.

Saat Anda menyiapkan jendela hop di aliran data streaming, Anda perlu menentukan durasi jendela tersebut (sama seperti pada jendela tumbling). Anda juga perlu memberikan ukuran hop, yang memberi tahu aliran data streaming seberapa sering Anda ingin agregasi dihitung selama durasi yang ditentukan.

Parameter offset tersebut juga tersedia dalam hopping windows dengan alasan yang sama seperti pada tumbling windows. Ini menentukan logika untuk menyertakan dan mengecualikan kejadian pada awal dan akhir jendela hopping.

jendela geser

Jendela geser, tidak seperti jendela tumbling atau hopping, menghitung agregasi hanya pada titik waktu saat isi jendela benar-benar berubah. Saat peristiwa masuk atau keluar dari jendela, agregasi akan dihitung. Jadi, setiap jendela memiliki setidaknya satu peristiwa. Sama seperti jendela hopping, peristiwa dapat berada di lebih dari satu jendela sliding.

Satu-satunya parameter yang Anda butuhkan untuk jendela sliding adalah durasi, karena peristiwa itu sendiri menentukan kapan jendela akan dimulai. Tidak diperlukan logika offset.

Jendela sesi

Jendela session adalah jenis yang paling kompleks. Mereka mengelompokkan peristiwa yang tiba pada waktu yang berdekatan, serta menyaring periode waktu yang tidak berisi data. Untuk jendela ini, perlu untuk menyediakan:

• Waktu habis: berapa lama menunggu jika tidak ada data baru.
• Durasi maksimum: waktu terpanjang yang dihitung agregasi jika data terus datang.

Anda juga dapat menentukan partisi, jika mau.

Anda menyiapkan jendela session secara langsung di panel samping untuk transformasi. Jika Anda menentukan partisi, agregasi hanya akan mengelompokkan event yang memiliki kunci yang sama.

Jendela cuplikan

Jendela snapshot mengelompokkan peristiwa yang memiliki stempel waktu yang sama. Tidak seperti jendela lain, snapshot tidak memerlukan parameter apa pun karena menggunakan waktu dari sistem.

Tentukan output

Setelah menyiapkan input dan transformasi, saatnya untuk menentukan satu atau beberapa output. Pada Juli 2021, aliran data streaming mendukung tabel Power BI sebagai satu-satunya jenis output.

Output ini adalah tabel aliran data (yaitu, entitas) yang bisa Anda gunakan untuk membuat laporan di Power BI Desktop. Anda perlu menggabungkan simpul dari langkah sebelumnya dengan output yang Anda buat untuk membuatnya berfungsi. Setelah itu, beri nama tabel.

Setelah Anda tersambung ke aliran data, tabel ini akan tersedia bagi Anda untuk membuat visual yang diperbarui secara real time untuk laporan Anda.

Pratinjau data dan kesalahan

Aliran data streaming menyediakan alat untuk membantu Anda menulis, memecahkan masalah, dan mengevaluasi performa alur analitik Anda untuk data streaming.

Pratinjau data langsung untuk masukan

Saat Anda menyambungkan ke Event Hub atau IoT Hub dan memilih kartu tersebut dalam tampilan diagram (tab Pratinjau Data), Anda akan melihat pratinjau langsung data yang masuk jika semua kondisi berikut terpenuhi:

• Data sedang dikirim.
• Masukan telah dikonfigurasi dengan benar.
• Kolom telah ditambahkan.

Seperti yang ditunjukkan pada cuplikan layar berikut, jika ingin melihat atau menelusuri sesuatu yang spesifik, Anda dapat menjeda pratinjau (1). Atau Anda dapat memulainya lagi jika sudah selesai.

Anda juga dapat melihat detail rekaman tertentu ("sel" dalam tabel) dengan memilihnya lalu memilih Perlihatkan detail atau Sembunyikan detail (2). Tangkapan layar menunjukkan detail tampilan dari objek berlapis dalam rekaman.

Pratinjau statis untuk transformasi dan keluaran

Setelah Anda menambahkan dan menyiapkan langkah apa pun dalam tampilan diagram, Anda dapat menguji perilakunya dengan memilih tombol data statis .

Setelah Anda melakukannya, aliran data streaming mengevaluasi semua transformasi dan output yang dikonfigurasi dengan benar. Aliran data streaming kemudian menampilkan hasilnya dalam pratinjau data statis, seperti yang ditunjukkan pada gambar berikut.

Anda dapat me-refresh pratinjau dengan memilih Refresh pratinjau statik (1). Saat Anda melakukan ini, aliran data streaming mengambil data baru dari input dan mengevaluasi semua transformasi dan output lagi dengan pembaruan apa pun yang mungkin Anda lakukan. Opsi Tampilkan atau Sembunyikan detail juga tersedia (2).

Kesalahan penulisan

Jika Anda memiliki kesalahan penulisan atau peringatan, tab Kesalahan penulisan (1) mencantumkannya, seperti yang ditunjukkan pada cuplikan layar berikut. Daftar ini mencakup detail kesalahan atau peringatan, jenis kartu (input, transformasi, atau output), tingkat kesalahan, dan deskripsi kesalahan atau peringatan (2). Saat Anda memilih salah satu kesalahan atau peringatan, masing-masing kartu dipilih dan panel sisi konfigurasi terbuka bagi Anda untuk membuat perubahan yang diperlukan.

Kesalahan waktu proses

Tab terakhir yang tersedia dalam pratinjau adalah Kesalahan runtime (1), seperti yang ditunjukkan pada cuplikan layar berikut. Tab ini mencantumkan kesalahan apa pun dalam proses penyerapan dan analisis aliran data streaming setelah Anda memulainya. Misalnya, Anda mungkin mendapatkan kesalahan runtime jika pesan masuk rusak, dan aliran data tidak dapat menyerapnya dan melakukan transformasi yang ditentukan.

Karena aliran data mungkin berjalan untuk jangka waktu yang lama, tab ini menawarkan opsi untuk memfilter menurut rentang waktu dan mengunduh daftar kesalahan dan merefreshnya jika diperlukan (2).

Mengubah pengaturan untuk aliran data streaming

Seperti halnya aliran data reguler, pengaturan untuk aliran data streaming dapat dimodifikasi bergantung pada kebutuhan pemilik dan penulis. Pengaturan berikut ini unik untuk aliran data streaming. Untuk pengaturan lainnya, karena infrastruktur bersama antara dua jenis aliran data, Anda dapat mengasumsikan bahwa penggunaannya sama.

• Riwayat refresh: Karena aliran data streaming berjalan terus menerus, riwayat refresh hanya menampilkan informasi tentang kapan aliran data dimulai, saat dibatalkan, atau ketika gagal (dengan detail dan kode kesalahan saat berlaku). Informasi ini mirip dengan apa yang muncul untuk aliran data reguler. Anda dapat menggunakan informasi ini untuk memecahkan masalah atau memberikan dukungan Power BI dengan detail yang diminta.

• Kredensial sumber data: Pengaturan ini menunjukkan input yang telah dikonfigurasi untuk aliran data streaming tertentu.

• Pengaturan mesin komputasi yang disempurnakan: Aliran data streaming memerlukan mesin komputasi yang ditingkatkan untuk menyediakan visual real-time, sehingga pengaturan ini diaktifkan secara default dan tidak dapat diubah.

• Durasi retensi: Pengaturan ini khusus untuk aliran data streaming. Di sini Anda dapat menentukan berapa lama Anda ingin menyimpan data real-time untuk divisualisasikan dalam laporan. Data historis disimpan secara default di Azure Blob Storage. Pengaturan ini khusus untuk sisi real time data Anda (penyimpanan panas). Nilai minimum adalah 1 hari atau 24 jam.

  Penting

  Jumlah data aktif yang disimpan selama durasi retensi ini secara langsung memengaruhi kinerja visual real-time Anda saat Anda membuat laporan berdasarkan data ini. Semakin besar retensi data di sini, semakin besar kemungkinan visual real-time dalam laporan Anda terpengaruh oleh kinerja yang rendah. Jika Anda perlu melakukan analisis historis, Anda harus menggunakan penyimpanan dingin yang disediakan untuk aliran data streaming.

Menjalankan dan mengedit aliran data streaming

Setelah Anda menyimpan dan mengonfigurasi aliran data streaming, semuanya siap untuk Anda jalankan. Anda kemudian dapat mulai menyerap data ke dalam Power BI dengan logika analitik streaming yang telah Anda tentukan.

Menjalankan aliran data streaming Anda

Untuk memulai aliran data streaming Anda, pertama-tama simpan aliran data Anda dan buka ruang kerja tempat Anda membuatnya. Arahkan mouse ke atas aliran data streaming dan pilih tombol putar yang muncul. Pesan pop-up memberi tahu Anda bahwa aliran data streaming sedang dimulai.

Mengedit aliran data streaming Anda

Saat aliran data streaming berjalan, aliran data tidak dapat diedit. Namun, Anda dapat membuka aliran data streaming yang sedang berjalan dan melihat logika analitik yang mendasari aliran data tersebut.

Saat Anda masuk ke aliran data streaming yang sedang berjalan, semua opsi edit dinonaktifkan dan pesan ditampilkan: "Aliran data tidak dapat diedit saat sedang berjalan. Hentikan aliran data jika Anda ingin melanjutkan." Pratinjau data juga dinonaktifkan.

Untuk mengedit aliran data streaming, Anda harus menghentikannya. Aliran data yang dihentikan menghasilkan data yang hilang.

Satu-satunya tampilan yang tersedia saat dataflow streaming berjalan adalah tab Kesalahan runtime, tempat Anda dapat memantau perilaku dataflow untuk mengetahui adanya pesan yang terlewat dan situasi serupa.

Pertimbangkan penyimpanan data saat mengedit aliran data Anda

Saat mengedit aliran data, Anda perlu mempertimbangan lain. Mirip dengan perubahan apa pun dalam skema untuk aliran data reguler, jika Anda membuat perubahan pada tabel output, Anda kehilangan data yang telah didorong dan disimpan ke Power BI. Antarmuka memberikan informasi yang jelas tentang konsekuensi dari salah satu perubahan ini dalam aliran data streaming Anda, bersama dengan pilihan untuk perubahan yang Anda buat sebelum menyimpan.

Pengalaman ini lebih baik ditampilkan dengan contoh. Cuplikan layar berikut menunjukkan pesan yang Anda dapatkan saat menambahkan kolom ke satu tabel, mengubah nama untuk tabel kedua, dan membiarkan tabel ketiga sama seperti sebelumnya.

Dalam contoh ini, data yang sudah disimpan di kedua tabel yang memiliki skema dan perubahan nama dihapus jika Anda menyimpan perubahan. Untuk tabel yang tetap sama, Anda mendapatkan opsi untuk menghapus data lama apa pun dan mulai dari awal, atau menyimpannya untuk analisis nanti bersama dengan data baru yang masuk.

Ingatlah nuansa ini saat mengedit aliran data streaming Anda, terutama jika Anda memerlukan data historis yang tersedia nanti untuk analisis lebih lanjut.

Mengonsumsi aliran data streaming

Setelah aliran data streaming berjalan, Anda siap untuk mulai membuat konten di atas data streaming Anda. Tidak ada perubahan struktural dibandingkan dengan apa yang harus Anda lakukan untuk membuat laporan yang diperbarui secara real time. Ada beberapa nuansa dan pembaruan yang perlu dipertimbangkan sehingga Anda dapat memanfaatkan jenis persiapan data baru ini untuk data streaming.

Siapkan penyimpanan data

Seperti yang kami sebutkan sebelumnya, aliran data streaming menyimpan data di dua lokasi berikut. Penggunaan sumber-sumber ini tergantung pada jenis analisis apa yang coba Anda lakukan.

• Penyimpanan panas (analisis real time): Saat data masuk ke Power BI dari aliran data streaming, data disimpan di lokasi panas untuk Anda akses dengan visual real-time. Berapa banyak data yang disimpan dalam penyimpanan ini bergantung pada nilai yang Anda tentukan untuk durasi Retensi dalam pengaturan aliran data streaming. Nilai bawaan (dan minimum) adalah 24 jam.
• Penyimpanan dingin (analisis historis): Setiap periode waktu yang tidak termasuk dalam periode yang Anda tentukan untuk durasi Retensi disimpan dalam penyimpanan dingin (blob) dalam Power BI untuk Anda konsumsi jika diperlukan.

Sambungkan ke alur data streaming dari Power BI Desktop

Power BI Desktop menawarkan konektor yang disebut Aliran Data untuk Anda gunakan. Sebagai bagian dari konektor ini untuk aliran data streaming, Anda akan melihat dua tabel yang cocok dengan penyimpanan data yang dijelaskan sebelumnya.

Untuk terhubung ke data Anda untuk alur data streaming:

1. Buka Dapatkan Data, pilih Power Platform, lalu pilih konektor Aliran Data.

   

2. Masuk dengan kredensial Power BI Anda.

3. Pilih ruang kerja. Cari salah satu yang berisi aliran data streaming Anda dan pilih aliran data tersebut. (Dalam contoh ini, aliran data streaming disebut Tol.)

4. Perhatikan bahwa semua tabel output Anda muncul dua kali: satu untuk data streaming (panas) dan satu untuk data yang diarsipkan (dingin). Anda dapat membedakannya dengan label yang ditambahkan setelah nama tabel dan oleh ikon.

   

5. Koneksi ke data streaming. Kasus data yang diarsipkan sama, hanya tersedia dalam mode impor. Pilih tabel yang menyertakan label Streaming dan Panas, lalu pilih Muat.

   

6. Saat Anda diminta untuk memilih mode penyimpanan, pilih DirectQuery jika tujuan Anda adalah membuat visual real-time.

   

Sekarang Anda dapat membuat visual, pengukuran, dan lainnya, dengan menggunakan fitur yang tersedia di Power BI Desktop.

Mengaktifkan refresh halaman otomatis untuk visual real-time

Setelah laporan siap dan Anda telah menambahkan semua konten yang ingin Anda bagikan, satu-satunya langkah yang tersisa adalah memastikan visual Anda diperbarui secara real time. Anda dapat menggunakan fitur yang disebut penyegaran halaman otomatis. Fitur ini memungkinkan Anda me-refresh visual dari sumber DirectQuery sesering satu detik.

Untuk informasi selengkapnya tentang fitur ini, lihat Refresh halaman otomatis di Power BI. Artikel tersebut menyertakan informasi tentang cara menggunakannya, cara menyiapkannya, dan cara menghubungi admin jika Anda mengalami masalah. Berikut ini adalah dasar-dasar tentang cara menyiapkannya:

1. Buka halaman laporan di mana Anda ingin visual diperbarui secara real time.

2. Hapus visual apa pun di halaman. Jika memungkinkan, pilih latar belakang halaman.

3. Buka panel format (1) dan aktifkan Refresh halaman (2).

   

4. Siapkan frekuensi yang Anda inginkan (hingga setiap detik jika admin Anda telah mengizinkannya).

   

5. Untuk membagikan laporan real-time, pertama-tama terbitkan kembali ke layanan Power BI. Kemudian Anda dapat menyiapkan kredensial aliran data untuk model semantik dan berbagi.

Pertimbangan dan batasan

Batasan umum

• Langganan Power BI Premium (kapasitas atau PPU) diperlukan untuk membuat dan menjalankan aliran data streaming.
• Hanya satu jenis aliran data yang diizinkan per ruang kerja.
• Menautkan aliran data reguler dan streaming tidak dimungkinkan.
• Kapasitas yang lebih kecil dari A3 tidak mengizinkan penggunaan aliran data streaming.
• Jika aliran data atau mesin penghitungan yang ditingkatkan tidak diaktifkan di penyewa, Anda tidak dapat membuat atau menjalankan aliran data streaming.
• Ruang kerja yang tersambung ke akun penyimpanan tidak didukung.
• Setiap aliran data streaming dapat menyediakan throughput hingga 1 MB per detik.

Ketersediaan

Pratinjau aliran data streaming tidak tersedia di wilayah berikut:

• India Tengah
• Jerman Utara
• Norwegia Timur
• Norwegia Barat
• UAE Tengah
• Afrika Selatan Utara
• Afrika Selatan Barat
• Swiss Utara
• Swiss Barat
• Brasil Tenggara

Pelisensian

Jumlah aliran data streaming yang diizinkan per penyewa bergantung pada lisensi yang digunakan:

• Untuk kapasitas reguler, gunakan rumus berikut untuk menghitung jumlah maksimum aliran data streaming yang diizinkan dalam kapasitas:

  Jumlah maksimum alur data streaming per kapasitas = jumlah vCore dalam kapasitas tersebut x 5

  Misalnya, P1 memiliki 8 vCore: 8 * 5 = 40 aliran data streaming.

• Untuk Premium Per Pengguna, satu aliran data streaming diizinkan per pengguna. Jika pengguna lain ingin menggunakan aliran data streaming di ruang kerja PPU, mereka juga memerlukan lisensi PPU.

Penulisan aliran data

Saat Anda menulis aliran data streaming, perhatikan pertimbangan berikut:

• Pemilik aliran data streaming hanya dapat melakukan modifikasi, dan mereka hanya dapat melakukan modifikasi jika aliran data tidak berjalan.
• Aliran data streaming tidak tersedia di Ruang Kerja Saya.

Menyambungkan dari Power BI Desktop

Anda hanya dapat mengakses penyimpanan cold storage dengan menggunakan konektor Dataflows yang tersedia mulai pembaruan Power BI Desktop Juli 2021. Konektor dataflow Power BI sebelumnya hanya memungkinkan koneksi ke penyimpanan data streaming (hot). Pratinjau data konektor tidak berfungsi.

Konten terkait

Artikel ini memberikan gambaran umum tentang persiapan data streaming layanan mandiri dengan menggunakan aliran data streaming. Artikel berikut ini menyediakan informasi tentang cara menguji kemampuan ini dan cara menggunakan fitur data streaming lainnya di Power BI:

• Membangun solusi IoT dengan menggunakan Azure Stream Analytics
• Menyambungkan simulator online Raspberry Pi ke Azure IoT Hub (Node.js)
• Streaming real-time di Power BI
• Refresh halaman otomatis di Power BI