Spark Bildirimli İşlem Hatları

Apache Spark™ Bildirimsel İşlem Hatları, SQL ve Python kullanarak toplu ve akış verisi işlem hatları oluşturmak için kullanılan bildirimsel bir çerçevedir. Lakeflow işlem hatları, performans açısından iyileştirilmiş Databricks Runtime üzerinde çalışırken Spark Bildirimli İşlem Hatları ile birlikte çalışabilir ve genişletilir. İşlem hatları için yaygın kullanım örnekleri arasında bulut depolama (Amazon S3, Azure ADLS 2. Nesil ve Google Cloud Storage gibi) ve ileti veri yollarından (Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub ve Apache Pulsar gibi) veri alımı ve artımlı toplu iş ve akış dönüşümleri yer alır.

Uyarı

Lakeflow işlem hatları Premium planı gerektirir. Daha fazla bilgi için Databricks hesap ekibinize başvurun.

Bu bölümde işlem hatlarını kullanma hakkında ayrıntılı bilgi sağlanır. Aşağıdaki konular kullanmaya başlamanıza yardımcı olur.

Konu Description
İşlem hattı kavramları Akışlar, akış tabloları ve gerçekleştirilmiş görünümler dahil olmak üzere işlem hatlarının üst düzey kavramları hakkında bilgi edinin.
Öğreticiler Pipeline'ları kullanma konusunda uygulamalı deneyim sağlamak için eğitimleri takip edin.
İşlem hatları geliştirme Verileri almak ve dönüştürmek için akışlar oluşturan işlem hatları geliştirmeyi ve test etmeyi öğrenin.
İşlem hatlarını yapılandırma İşlem hatlarını zamanlamayı ve yapılandırmayı öğrenin.
İşlem hatlarını izleme İşlem hatlarınızı izlemeyi ve işlem hattı sorgularında sorun gidermeyi öğrenin.
Geliştiriciler İşlem hatları geliştirirken Python ve SQL kullanmayı öğrenin.
Bağımsız işlem hatları Databricks SQL veya Python'da tek başına akış tabloları ve gerçekleştirilmiş görünümler oluşturma hakkında bilgi edinin.
En iyi uygulamalar Güvenilir, verimli ve sürdürülebilir işlem hatları oluşturmak için önerilen desenleri öğrenin.

Ek kaynaklar

  • Last updated on