Sistem performansını değerlendirmek için TPC-DS örnek veri kümesini kullanma

Azure Databricks, veri ambarı ve analiz için oluşturulan sistemlerin performansını test etmek için yaygın olarak kullanılan bir karşılaştırma olan TPC-DS karşılaştırma veri kümesine erişim sağlar. Veri kümesi, Unity Kataloğu'nu etkinleştiren her çalışma alanında varsayılan olarak iki boyutta kullanılabilir. Bu veri kümeleri, Azure Databricks performansını gerçekçi perakende ve e-ticaret iş senaryolarının benzetimini yapan standart bir karşılaştırmada test etmek için idealdir. Bu veri kümesi hakkında daha fazla bilgi edinmek için TPC-DS karşılaştırma belgelerine bakın.

Dahil olanlar

TPC-DS veri kümeleri katalogda samples aşağıdaki şemalarla kullanılabilir:

  • tpcds_sf1 — Küçük ölçekli veri kümesi (yaklaşık 1 GB)
  • tpcds_sf1000 — Büyük ölçekli veri kümesi (yaklaşık 1 TB)

Her iki veri kümesi de aşağıdaki özellikleri paylaşır:

  • Çalışma alanındaki tüm kullanıcılar tarafından salt okunur ve sorgulanabilir
  • SQL ambarları ve tüm amaçlı kümelerle uyumludur
  • Standartlaştırılmış karşılaştırma için TPC-DS belirtimini izleyin

Önkoşullar

SQL ambarı veya çok amaçlı bir kümeye erişiminiz olmalıdır.

Verilerin önizlemesini görüntüleme

Katalog Gezgini kullanıcı arabirimindeki verileri keşfetmek için:

  1. Veri simgesine tıklayın. Kenar çubuğunda katalog.
  2. Arama çubuğuna tpcds girin. Her iki şema da katalogdadır samples . Görüntülemek istediğiniz şemanın adına tıklayın.
  3. Genel Bakış sekmesinde şemadaki tüm tablolar listelenir. Bir tablo adına tıklayarak tablodaki sütunlara ve veri türlerine genel bir bakış açın.
  4. Tablonun Örnek Verileri veya Ayrıntıları'nı görüntülemek için üst gezintiyi kullanın.

Verileri sorgulama

Aşağıdaki sorgular daha küçük ölçekli veri kümesini tpcds_sf1kullanır. Daha büyük ölçekli veri kümesini kullanmak için şema adını ile tpcds_sf1000değiştirin. SQL düzenleyicisini açmak için kenar çubuğunda SQL Düzenleyicisi Simgesi SQL Düzenleyicisi'ne tıklayın. Ardından, verileri keşfetmeye başlamak için aşağıdaki sorguları kullanın.

Tabloları önizleme

SHOW TABLES IN samples.tpcds_sf1;

Tabloyu keşfet

DESCRIBE TABLE samples.tpcds_sf1.customer;
SELECT * FROM samples.tpcds_sf1.customer LIMIT 10;

Örnek veri tabanı birleştirme ve veri toplama

SELECT
  i_category,
  d_year,
  SUM(ss_net_paid) AS total_revenue
FROM samples.tpcds_sf1.store_sales ss
JOIN samples.tpcds_sf1.item i ON ss.ss_item_sk = i.i_item_sk
JOIN samples.tpcds_sf1.date_dim d ON ss.ss_sold_date_sk = d.d_date_sk
WHERE d.d_year = 2001
GROUP BY i_category, d_year
ORDER BY total_revenue DESC
LIMIT 10;

En iyi yöntemler

  • Performans özelliklerini anlamak ve iyileştirme fırsatlarını belirlemek için sorgu geçmişini ve sorgu profilini kullanın.
  • İlk test için daha küçük tpcds_sf1 veri kümesiyle başlayın, ardından kapsamlı performans değerlendirmesi için ölçeği artırarak tpcds_sf1000 genişletin.
  • İş yükleriniz için en uygun yapılandırmaları belirlemek için farklı SQL ambarı boyutları arasında sorgu performansını karşılaştırın.
  • Performans temelleri oluşturmak ve zaman içindeki iyileştirmeleri izlemek için bu standartlaştırılmış veri kümelerini kullanın.
  • Last updated on