Deklaratywne potoki Spark

Apache Spark™ Declarative Pipelines to framework deklaratywny do tworzenia wsadowych i strumieniowych potoków danych w językach SQL i Python. Potoki Lakeflow stanowią rozszerzenie deklaratywnych potoków Spark i są z nimi zgodne, a jednocześnie działają w środowisku Databricks Runtime zoptymalizowanym pod kątem wysokiej wydajności. Typowe przypadki użycia potoków obejmują pozyskiwanie danych ze źródeł, takich jak magazyn w chmurze (np. Amazon S3, Azure ADLS Gen2 i Google Cloud Storage) oraz magistrale komunikatów (takie jak Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub i Apache Pulsar) oraz transformacje batchowe i strumieniowe.

Uwaga / Notatka

Potoki Lakeflow wymagają planu Premium. Aby uzyskać więcej informacji, skontaktuj się z zespołem ds. kont usługi Databricks.

Ta sekcja zawiera szczegółowe informacje o korzystaniu z potoków. Poniższe tematy ułatwiają rozpoczęcie pracy.

Temat Description
Podstawowe pojęcia dotyczące potoku Poznaj podstawowe zagadnienia dotyczące potoków, w tym przepływów, tabel strumieniowych i widoków zmaterializowanych.
Samouczki Postępuj zgodnie z samouczkami, aby uzyskać praktyczne doświadczenie w korzystaniu z potoków.
Opracowywanie pipeline'ów Dowiedz się, jak opracowywać i testować potoki, które tworzą przepływy do pobierania i przekształcania danych.
Konfigurowanie potoków Dowiedz się, jak konfigurować i planować pipeline'y.
Monitorowanie potoków Dowiedz się, jak monitorować rury i rozwiązywać problemy z zapytaniami w rurach.
Deweloperzy Dowiedz się, jak używać języków Python i SQL podczas tworzenia potoków.
Potoki autonomiczne Dowiedz się, jak tworzyć samodzielne tabele strumieniowe i widoki zmaterializowane w języku Databricks SQL lub Python.
Najlepsze praktyki Poznaj zalecane wzorce tworzenia niezawodnych, wydajnych i konserwowalnych pipeline'ów.

Dodatkowe zasoby

  • Last updated on