Mengembangkan solusi dengan aliran data (warisan)

Aliran data Power BI adalah solusi persiapan data yang berfokus pada perusahaan yang memungkinkan ekosistem data yang siap untuk konsumsi, penggunaan kembali, dan integrasi. Artikel ini menyajikan beberapa skenario umum, tautan ke artikel, dan informasi lainnya untuk membantu Anda memahami dan menggunakan aliran data untuk potensi penuhnya.

Mendapatkan akses ke fitur Premium aliran data

Aliran data Power BI dalam kapasitas Premium menyediakan banyak fitur utama yang membantu mencapai skala dan performa yang lebih besar untuk aliran data Anda, seperti:

• Komputasi tingkat lanjut, yang mempercepat performa ETL dan menyediakan kemampuan DirectQuery.
• Refresh bertahap, yang memungkinkan Anda memuat data yang diubah dari sumber.
• Entitas tertaut, yang dapat Anda gunakan untuk mereferensikan aliran data lain.
• Entitas terkomputasi, yang dapat Anda gunakan untuk membangun blok penyusun aliran data yang dapat dikomposisikan yang berisi lebih banyak logika bisnis.

Untuk alasan ini, kami sarankan Anda menggunakan aliran data dalam kapasitas Premium kapan pun memungkinkan. Aliran data yang digunakan dalam lisensi Power BI Pro dapat digunakan untuk kasus penggunaan berskala kecil yang sederhana.

Solusi

Anda dapat mengakses fitur Premium aliran data ini dengan dua cara:

• Tentukan kapasitas Premium ke ruang kerja tertentu dan masukkan lisensi Pro milik Anda sendiri untuk menulis aliran data di sini.
• Masukkan lisensi Premium per pengguna (PPU) milik Anda sendiri, yang mengharuskan anggota ruang kerja lain untuk juga memiliki lisensi PPU.

Anda tidak dapat menggunakan aliran data PPU (atau konten lainnya) di luar lingkungan PPU (seperti di Premium atau SKU atau lisensi lain).

Untuk kapasitas Premium, konsumen aliran data Anda di Power BI Desktop tidak memerlukan lisensi eksplisit untuk menggunakan dan menerbitkan ke Power BI. Tetapi untuk menerbitkan ke ruang kerja atau berbagi model semantik yang dihasilkan, Anda memerlukan setidaknya lisensi Pro.

Untuk PPU, setiap orang yang membuat atau menggunakan konten PPU harus memiliki lisensi PPU. Persyaratan ini berbeda dari bagian lain Power BI, karena Anda perlu melisensikan semua orang dengan PPU secara eksplisit. Anda tidak dapat mencampur kapasitas Gratis, Pro, atau bahkan Premium dengan konten PPU kecuali Anda memigrasikan ruang kerja ke kapasitas Premium.

Memilih model biasanya bergantung pada ukuran dan tujuan organisasi Anda, tetapi panduan berikut berlaku.

Untuk tim kecil, PPU dapat menjembatani kesenjangan antara Gratis, Pro, dan Premium dalam hal kapasitas. Jika Anda memiliki kebutuhan yang lebih besar, menggunakan kapasitas Premium dengan pengguna yang memiliki lisensi Pro adalah pendekatan yang terbaik.

Membuat aliran data pengguna dengan penerapan keamanan

Bayangkan Anda perlu membuat aliran data untuk digunakan tetapi memiliki persyaratan keamanan:

Dalam skenario ini, Anda mungkin memiliki dua jenis ruang kerja:

• Ruang kerja ujung belakang tempat Anda mengembangkan aliran data dan membangun logika bisnis.

• Ruang kerja pengguna tempat Anda dapat memaparkan beberapa aliran data atau tabel ke grup pengguna tertentu untuk digunakan:

  • Ruang kerja pengguna berisi tabel tertaut yang mengarah ke aliran data di ruang kerja ujung belakang.
  • Pengguna memiliki akses melihat ke workspace konsumen dan tidak ada akses ke ruang kerja backend.
  • Saat pengguna menggunakan Power BI Desktop untuk mengakses aliran data di ruang kerja pengguna, pengguna dapat melihat aliran data. Tetapi karena aliran data tampak kosong di Navigator, tabel tertaut tidak ditampilkan.

Memahami tabel tertaut

Tabel tertaut hanyalah penunjuk ke tabel aliran data asli, dan tabel tersebut mewarisi izin sumber. Jika Power BI mengizinkan tabel tertaut menggunakan izin tujuan, setiap pengguna mungkin menghindari izin sumber dengan membuat tabel tertaut di tujuan yang menunjuk ke sumber.

Solusi: Gunakan tabel terkomputasi

Jika Anda memiliki akses ke Power BI Premium, Anda dapat membuat tabel terkomputasi di tujuan yang merujuk ke tabel tertaut, yang memiliki salinan data dari tabel tertaut. Anda dapat menghapus kolom melalui proyeksi dan menghapus baris melalui filter. Pengguna dengan izin di ruang kerja tujuan dapat mengakses data melalui tabel ini.

Silsilah untuk individu dengan hak istimewa juga menunjukkan ruang kerja yang direferensikan dan memungkinkan pengguna untuk menautkan kembali untuk sepenuhnya memahami aliran data induk. Bagi pengguna yang tidak memiliki hak istimewa, privasi tetap dihormati. Hanya nama ruang kerja yang ditampilkan.

Diagram berikut mengilustrasikan pengaturan ini. Di sebelah kiri adalah pola arsitektur. Di sebelah kanan adalah contoh yang menunjukkan data penjualan yang dipisahkan dan diamankan menurut wilayah.

Mengurangi waktu refresh untuk aliran data

Bayangkan Anda memiliki aliran data besar, tetapi Anda ingin membangun model semantik dari aliran data tersebut dan mengurangi waktu yang diperlukan untuk merefreshnya. Biasanya, refresh membutuhkan waktu lama untuk diselesaikan dari sumber data ke aliran data ke model semantik. Refresh yang panjang sulit dikelola atau dipertahankan.

Solusi: Gunakan tabel dengan "Enable Load" yang dikonfigurasi secara eksplisit untuk tabel yang dirujuk dan jangan menonaktifkan pemuatan.

Seperti yang didefinisikan dalam memahami dan mengoptimalkan refresh aliran data, Power BI mendukung pengaturan sederhana untuk aliran data. Memanfaatkan orkestrasi mengharuskan menyatakan secara eksplisit bahwa aliran data hilir harus dikonfigurasi untuk Mengaktifkan Beban.

Menonaktifkan pemrosesan biasanya hanya tepat ketika biaya pemrosesan untuk memuat lebih banyak kueri menghilangkan manfaat dari entitas yang sedang Anda kembangkan.

Meskipun menonaktifkan pemuatan berarti Power BI tidak mengevaluasi kueri tertentu, saat digunakan sebagai komponen, yaitu yang dirujuk dalam aliran data lain, hal ini juga berarti bahwa Power BI tidak memperlakukannya sebagai tabel yang ada tempat kami dapat memberikan petunjuk dan melakukan penggabungan dan pengoptimalan kueri. Dalam pengertian ini, melakukan transformasi seperti gabungan atau penggabungan hanyalah gabungan atau penggabungan dua kueri sumber data. Operasi tersebut dapat memiliki efek negatif pada performa, karena Power BI harus sepenuhnya memuat ulang logika yang sudah dihitung lagi dan kemudian menerapkan logika lagi.

Untuk menyederhanakan pemrosesan kueri aliran data dan memastikan pengoptimalan mesin berlangsung, aktifkan beban dan pastikan bahwa mesin komputasi dalam aliran data Power BI Premium diatur pada pengaturan default, yang Dioptimalkan.

Mengaktifkan beban juga memungkinkan Anda untuk menyimpan tampilan lengkap silsilah data, karena Power BI mempertimbangkan aliran data beban yang tidak diaktifkan sebagai item baru. Jika silsilah data penting bagi Anda, jangan menonaktifkan beban untuk entitas atau aliran data yang terhubung ke aliran data lain.

Mengurangi waktu refresh untuk model semantik

Bayangkan Anda memiliki aliran data yang besar, tetapi Anda ingin membangun model semantik darinya dan mengurangi orkestrasi. Proses penyegaran memerlukan waktu lama untuk selesai, mulai dari sumber data, aliran data, hingga model semantik, yang meningkatkan latensi.

Solusi: Gunakan aliran data DirectQuery

DirectQuery dapat digunakan setiap kali pengaturan mesin komputasi yang ditingkatkan (ECE) dalam ruang kerja dikonfigurasi secara eksplisit ke Aktif. Pengaturan ini berguna ketika Anda memiliki data yang tidak perlu dimuat langsung ke dalam model Power BI. Jika Anda mengonfigurasi ECE ke Aktif untuk pertama kalinya, perubahan yang memungkinkan DirectQuery akan terjadi selama refresh berikutnya. Anda perlu merefreshnya saat mengaktifkannya agar perubahan segera terjadi. Refresh pada beban aliran data awal bisa lebih lambat karena Power BI menulis data ke penyimpanan dan mesin SQL terkelola.

Untuk meringkas, dengan menggunakan DirectQuery dengan aliran data memungkinkan penyempurnaan berikut ke proses Power BI dan aliran data Anda:

• Hindari penjadwalan refresh terpisah: DirectQuery terhubung langsung ke aliran data, sehingga tidak perlu membuat model semantik yang diimpor. Dengan demikian, dengan menggunakan DirectQuery dengan aliran data Anda berarti Anda tidak lagi memerlukan jadwal refresh terpisah untuk aliran data dan model semantik untuk memastikan data Anda disinkronkan.
• Memfilter data: DirectQuery berguna untuk mengerjakan tampilan data terfilter di dalam aliran data. Jika Anda ingin memfilter data, dan dengan cara ini bekerja dengan subset data yang lebih kecil di aliran data Anda, Anda dapat menggunakan DirectQuery (dan ECE) untuk memfilter data aliran data dan bekerja dengan subset terfilter yang Anda butuhkan.

Umumnya, dengan menggunakan DirectQuery memperdagangkan data terbaru dalam model semantik Anda dengan performa laporan yang lebih lambat dibandingkan dengan mode impor. Pertimbangkan pendekatan ini hanya ketika:

• Kasus penggunaan Anda memerlukan data latensi rendah yang berasal dari aliran data Anda.
• Data aliran data besar.
• Impor akan terlalu memakan waktu.
• Anda bersedia untuk mengorbankan kinerja cache demi data terbaru.

Solusi: Gunakan konektor aliran data untuk mengaktifkan pelipatan kueri dan refresh bertahap untuk impor

Konektor Aliran Data terpadu dapat secara signifikan mengurangi waktu evaluasi untuk langkah-langkah yang dilakukan melalui entitas terkomputasi, seperti melakukan penggabungan, pembedaan, penyaringan, dan pengelompokan menurut operasi. Terdapat dua manfaat khusus:

• Pengguna hilir yang terhubung ke konektor Aliran Data di Power BI Desktop dapat memanfaatkan performa yang lebih baik dalam skenario penulisan karena konektor baru mendukung lipatan kueri.
• Operasi pembaruan model semantik juga dapat diintegrasikan ke dalam engine komputasi yang disempurnakan, yang berarti bahkan pembaruan bertahap dari model semantik dapat diintegrasikan ke dalam dataflow. Kemampuan ini meningkatkan performa refresh dan berpotensi mengurangi latensi di antara siklus refresh.

Untuk mengaktifkan fitur ini untuk setiap aliran data Premium, pastikan mesin komputasi secara eksplisit diatur ke Aktif. Kemudian gunakan konektor Aliran Data di Power BI Desktop. Anda harus menggunakan versi Power BI Desktop Agustus 2021 atau yang lebih baru untuk memanfaatkan fitur ini.

Untuk menggunakan fitur ini untuk solusi yang ada, Anda harus berada di langganan Premium atau Premium Per Pengguna. Anda mungkin juga perlu membuat beberapa perubahan pada aliran data Anda seperti yang dijelaskan dalam Menggunakan mesin komputasi yang disempurnakan. Anda harus memperbarui kueri Power Query yang ada untuk menggunakan konektor baru dengan mengganti PowerBI.Dataflows di bagian Sumber dengan PowerPlatform.Dataflows.

Penulisan aliran data kompleks di Power Query

Bayangkan Anda memiliki aliran data sebanyak jutaan baris data, tetapi Anda ingin membangun logika dan transformasi bisnis yang kompleks dengannya. Anda ingin mengikuti praktik terbaik untuk bekerja dengan aliran data besar. Anda juga memerlukan pratinjau aliran data agar dapat beroperasi dengan cepat. Tapi, Anda memiliki puluhan kolom dan jutaan baris data.

Solusi: Gunakan tampilan Skema

Anda dapat menggunakan tampilan Skema, yang dirancang untuk mengoptimalkan alur saat Anda bekerja pada operasi tingkat skema dengan menempatkan informasi kolom kueri Anda di depan dan di tengah. Tampilan Skema menyediakan interaksi kontekstual untuk membentuk struktur data Anda. Tampilan Skema juga menyediakan operasi latensi yang lebih rendah karena hanya memerlukan metadata kolom untuk dikomputasi dan bukan hasil data lengkap.

Bekerja dengan sumber data yang lebih besar

Bayangkan Anda menjalankan kueri pada sistem sumber, tetapi Anda tidak ingin memberikan akses langsung ke sistem atau mendemokratisasikan akses. Anda berencana untuk memasukkannya ke dalam aliran data.

Solusi 1: Gunakan tampilan untuk kueri atau optimalkan kueri

Dengan menggunakan sumber data dan kueri yang dioptimalkan adalah opsi terbaik Anda. Sering kali, sumber data beroperasi dengan lebih baik dengan kueri yang ditujukan untuknya. Power Query memajukan kemampuan lipatan kueri untuk mendelegasikan beban kerja ini. Power BI juga menyediakan indikator pelipatan langkah di Power Query Online. Baca selengkapnya tentang jenis indikator dalam dokumentasi indikator langkah yang dapat dilipat.

Solusi 2: Gunakan Kueri Asli

Anda juga dapat menggunakan fungsi M Value.NativeQuery(). Anda mengatur EnableFolding=true di parameter ketiga. Kueri Asli didokumentasikan di situs web ini untuk konektor Postgres. Hal ini juga berfungsi untuk konektor SQL Server.

Solusi 3: Pisahkan aliran data menjadi aliran data pengambilan dan penggunaan untuk memanfaatkan ECE dan Entitas Tertaut

Dengan memisahkan aliran data menjadi aliran data penyerapan dan konsumsi terpisah, Anda dapat memanfaatkan ECE dan Entitas Tertaut. Anda dapat mempelajari selengkapnya tentang pola ini dan pola lainnya dalam dokumentasi praktik terbaik.

Pastikan pelanggan menggunakan aliran data kapan pun memungkinkan

Bayangkan Anda memiliki banyak aliran data yang melayani tujuan umum, seperti dimensi yang sesuai seperti pelanggan, tabel data, produk, dan geografi. Aliran data sudah tersedia di pita menu untuk Power BI. Idealnya, Anda ingin pelanggan terutama menggunakan aliran data yang Anda buat.

Solusi: Gunakan dukungan untuk menyertifikasi dan mempromosikan aliran data

Untuk mempelajari selengkapnya tentang cara kerja dukungan, lihat Dukungan: Mempromosikan dan menyertifikasi konten Power BI.

Kemampuan pemrograman dan otomatisasi dalam aliran data Power BI

Bayangkan Anda memiliki persyaratan bisnis untuk mengotomatiskan impor, ekspor, atau refresh, serta lebih banyak orkestrasi dan tindakan di luar Power BI. Anda memiliki beberapa opsi untuk mengaktifkannya, seperti yang dijelaskan dalam tabel berikut.

Untuk informasi selengkapnya tentang refresh, lihat Memahami dan mengoptimalkan refresh aliran data.

Pastikan Anda melindungi aset data di hilir

Anda dapat menggunakan label sensitivitas untuk menerapkan klasifikasi data dan aturan apa pun yang Anda konfigurasikan pada item hilir yang tersambung ke aliran data Anda. Untuk mempelajari selengkapnya tentang label sensitivitas, lihat label sensitivitas di Power BI. Untuk meninjau pewarisan, lihat Pewarisan label sensitivitas secara turun-temurun di Power BI.

Dukungan multi-geo

Banyak pelanggan saat ini memiliki kebutuhan untuk memenuhi persyaratan kedaulatan dan residensi data. Anda dapat menyelesaikan konfigurasi manual pada ruang kerja aliran data Anda agar menjadi multi-geo.

Aliran data mendukung multi-geo ketika menggunakan fitur bawa-akun-penyimpanan-sendiri. Fitur ini dijelaskan dalam Mengonfigurasi penyimpanan aliran data untuk menggunakan Azure Data Lake Gen 2. Ruang kerja harus kosong sebelum melampirkan kemampuan ini. Dengan konfigurasi khusus ini, Anda dapat menyimpan data aliran data di wilayah geografis tertentu pilihan Anda.

Pastikan Anda melindungi aset data di balik jaringan virtual

Banyak pelanggan saat ini memiliki kebutuhan untuk mengamankan aset data Anda di balik titik akhir privat. Untuk melakukannya, gunakan jaringan virtual dan gateway agar tetap sesuai. Tabel berikut ini menjelaskan dukungan jaringan virtual saat ini dan menjelaskan cara menggunakan aliran data agar tetap sesuai dan melindungi aset data Anda.

Konten terkait

Artikel berikut ini menyediakan informasi selengkapnya tentang aliran data dan Power BI:

• Pengantar aliran data dan persiapan data layanan mandiri
• Membuat aliran data
• Mengonfigurasi dan menggunakan aliran data
• Fitur premium aliran data
• Perencanaan implementasi Power BI - Integrasi dengan layanan lain
• Pertimbangan dan pembatasan aliran data
• Praktik terbaik aliran data