Stream Analytics kod gerektirmeyen düzenleyicisini kullanarak verileri filtreleme ve Azure Synapse SQL'e aktarma

Bu makalede, bir Stream Analytics işini kolayca oluşturmak için kodsuz düzenleyiciyi nasıl kullanabileceğiniz açıklanmaktadır. Event Hubs'ınızdan sürekli olarak okur, gelen verileri filtreler ve sonuçları sürekli olarak Synapse SQL tablosuna yazar.

Önkoşullar

  • Azure Event Hubs kaynaklarınız herkese açık olarak erişilebilir olmalı ve bir güvenlik duvarının arkasında bulunmamalı veya bir Azure Sanal Ağı içinde güvence altına alınmış olmamalıdır.
  • Event Hubs'ınızdaki veriler JSON, CSV veya Avro biçiminde seri hale getirilmelidir.

Verileri filtrelemek ve içeri almak için bir Stream Analytics işi oluşturma

Gerçek zamanlı verileri filtreleyip bir Synapse SQL tablosuna aktaran bir Stream Analytics işi oluşturmak için aşağıdaki adımları kullanın.

  1. Azure portalında Azure Event Hubs örneğinizi bulun ve seçin.

  2. Özellikler>Verileri İşle seçeneğini belirleyin ve Synapse SQL'e filtreleyip alma kartında Başlat seçeneğini belirleyin.
    Event Hubs veri başlangıç kartlarını işlemeyi gösteren ekran görüntüsü.

  3. Stream Analytics işinizi tanımlamak için bir ad girin ve Oluştur'u seçin.
    İş adını girdiğiniz Yeni Stream Analytics iş penceresini gösteren ekran görüntüsü.

  4. Event Hubs penceresinde verilerinizin Seri hale getirme türünü ve işin Event Hubs'a bağlanmak için kullanacağı Kimlik doğrulama yöntemini belirtin. Ardından Bağlan'ı seçin.
    Event Hubs bağlantı yapılandırmasını gösteren ekran görüntüsü.

  5. Bağlantı başarıyla kurulduğunda ve Event Hubs örneğinize akan veri akışlarınız olduğunda hemen iki şey görürsünüz:

    • Giriş verilerinde bulunan alanlar. Alan ekle'yi seçebilir veya bir alanın yanındaki üç nokta simgesini seçerek türünü kaldırabilir, yeniden adlandırabilir veya değiştirebilirsiniz.
      Alan türünü kaldırabileceğiniz, yeniden adlandırabileceğiniz veya değiştirebileceğiniz Event Hubs alan listesini gösteren ekran görüntüsü.
    • Diyagram görünümünün altındaki Veri önizleme tablosundaki gelen verilerin canlı örneği. Düzenli aralıklarla otomatik olarak yenilenir. Örnek giriş verilerinin statik görünümünü görmek için Akış önizlemesini duraklat'ı seçebilirsiniz.
      Veri Önizleme altında örnek verileri gösteren ekran görüntüsü.

  6. Filtre alanında, gelen verileri bir koşulla filtrelemek için bir alan seçin.
    Gelen verileri bir koşulla filtreleyebileceğiniz Filtre alanını gösteren ekran görüntüsü.

  7. Filtrelenmiş verilerinizi göndermek için Synapse SQL tablosunu seçin:

    1. Açılan menüden Abonelik, Veritabanı (ayrılmış SQL havuzu adı) ve Kimlik doğrulama yöntemini seçin.
    2. Filtrelenen verilerin alınacağı Tablo adını girin. Bağlan'ı seçin.
      Synapse SQL tablosu bağlantı ayrıntılarını gösteren ekran görüntüsü.

    Not

    Tablo şeması, veri önizlemenizin oluşturduğu alan sayısı ve türleriyle tam olarak eşleşmelidir.

  8. İsteğe bağlı olarak, seçili Synapse SQL tablosunda alınacak veri önizlemesini görmek için Statik önizleme al/Statik önizlemeyi yenile'yi seçin.
    Statik önizleme al/Statik önizlemeyi yenile seçeneğini gösteren ekran görüntüsü.

  9. Kaydet'i ve ardından Stream Analytics işini başlat'ı seçin.
    Kaydet ve Başlat seçeneklerini gösteren ekran görüntüsü.

  10. İşi başlatmak için şunları belirtin:

    • İşin çalıştığı Akış Birimi (SU) sayısı. SU'lar, işe ayrılan işlem ve bellek miktarını temsil eder. Üç ile başlayıp gerektiği gibi ayarlama yapmanızı öneririz.
    • Çıktı veri hatası işleme – Bir işin hedefinize çıkışı veri hataları nedeniyle başarısız olduğunda istediğiniz davranışı belirtmenize olanak tanır. Varsayılan olarak, yazma işlemi başarılı olana kadar işiniz yeniden denenir. Bu tür çıkış olaylarını bırakmayı da seçebilirsiniz.
      Çıkış süresini değiştirebileceğiniz, akış birimi sayısını ayarlayabileceğiniz ve Çıkış verileri hata işleme seçeneklerini belirleyebileceğiniz Stream Analytics'i Başlat iş seçeneklerini gösteren ekran görüntüsü.

  11. Başlat'ı seçtikten sonra, iş iki dakika içinde çalışmaya başlar ve ölçümler aşağıdaki sekme bölümünde açılır.

    İşi Stream Analytics işleri sekmesindeki İşlem Verileri bölümünün altında da görebilirsiniz. İzlemek için Ölçümleri aç'ı seçin veya gerektiğinde durdurup yeniden başlatın.

    Çalışan işlerin durumunu görüntüleyebileceğiniz Stream Analytics işleri sekmesinin ekran görüntüsü.

Event Hubs Coğrafi çoğaltma özelliğini kullanırken dikkat edilmesi gerekenler

Azure Event Hubs kısa süre önce genel önizlemede Coğrafi Çoğaltma özelliğini başlattı. Bu özellik, Azure Event Hubs'ın Coğrafi Olağanüstü Durum Kurtarma özelliğinden farklıdır.

Yük devretme türü Zorunlu ve çoğaltma tutarlılığı Zaman uyumsuz olduğunda, Stream Analytics işi Azure Event Hubs çıkışına tam olarak bir kez çıktı verilmesini garanti etmez.

Azure Stream Analytics, çıktı olarak bir olay hub’ı kullanan üretici olarak, yük devretme süresi boyunca ve birincil ile ikincil arasındaki çoğaltma gecikmesi yapılandırılan en yüksek gecikmeye ulaştığında Event Hubs tarafından kısıtlama uygulanması sırasında işte watermark gecikmesi gözlemleyebilir.

Azure Stream Analytics, Event Hubs’ı giriş olarak kullanan bir tüketici olarak, yük devretme süresi boyunca işte filigran gecikmesi gözlemleyebilir ve yük devretme tamamlandıktan sonra bazı verileri atlayabilir veya yinelenen verilerle karşılaşabilir.

Bu çekinceler nedeniyle, Event Hubs yük devretmesi tamamlandıktan hemen sonra Stream Analytics işini uygun bir başlangıç zamanı ile yeniden başlatın. Ayrıca, Event Hubs Coğrafi Replikasyon özelliği genel önizlemede olduğundan, şu anda üretim Stream Analytics işleri için bu modeli kullanmayın. Mevcut Stream Analytics davranışı, Event Hubs coğrafi çoğaltma özelliği genel kullanıma sunulup Stream Analytics üretim işlerinde kullanılabilir hale gelmeden önce iyileşecektir.

Sonraki adımlar

Azure Stream Analytics ve oluşturduğunuz işi izleme hakkında daha fazla bilgi edinin.

  • Last updated on