A TPC-DS mintaadatkészlet használata a rendszer teljesítményének kiértékeléséhez

Az Azure Databricks hozzáférést biztosít a TPC-DS benchmark-adathalmazhoz, amely széles körben használt benchmark az adattárházakhoz és elemzésekhez készült rendszerek teljesítményének teszteléséhez. Az adatkészlet alapértelmezés szerint két méretben érhető el minden Unity Catalog-kompatibilis munkaterületen. Ezek az adatkészletek ideálisak az Azure Databricks teljesítményének szabványosított benchmarkon való teszteléséhez, amely valós kiskereskedelmi és e-kereskedelmi üzleti forgatókönyveket szimulál. Az adatkészletről további információt a TPC-DS benchmark dokumentációjában talál.

A benne foglalt tudnivalók

A TPC-DS adatkészletek a samples katalógusban érhetők el a következő sémákkal:

• tpcds_sf1 — Kis méretű adatkészlet (kb. 1 GB)
• tpcds_sf1000 — Nagy méretű adatkészlet (körülbelül 1 TB)

Mindkét adathalmaz a következő tulajdonságokat osztja meg:

• A munkaterület adatai minden felhasználó számára írásvédettek és lekérdezhetők.
• Kompatibilisek az SQL-raktárakkal és az általános célú klaszterekkel
• Kövesse a szabványosított teljesítményértékelés TPC-DS specifikációját

Előfeltételek

Hozzáféréssel kell rendelkeznie egy SQL-raktárhoz vagy egy általános célú fürthöz.

Az adatok előnézete

Az adatok feltárása a Katalóguskezelő felhasználói felületén:

1. Kattintson Katalógus az oldalsávon.
2. Írja be a tpcds kifejezést a keresősávba. Mindkét séma szerepel a samples katalógusban. Kattintson a megtekinteni kívánt séma nevére.
3. Az Áttekintés lap a séma összes tábláját felsorolja. Kattintson a tábla nevére a tábla oszlopainak és adattípusainak áttekintéséhez.
4. A felső navigációs sávon megtekintheti a táblázat mintaadatait vagy adatait.

Adatok lekérdezése

Az alábbi lekérdezések a kisebb méretű adathalmazt használják. tpcds_sf1 A nagyobb méretű adatkészlet használatához cserélje le a séma nevét a következőre tpcds_sf1000: . Az SQL-szerkesztő megnyitásához kattintson az az oldalsávon. Ezután az alábbi lekérdezésekkel kezdje meg az adatok feltárását.

Előzetes verziójú táblák

SHOW TABLES IN samples.tpcds_sf1;

Táblázat megtekintése

DESCRIBE TABLE samples.tpcds_sf1.customer;
SELECT * FROM samples.tpcds_sf1.customer LIMIT 10;

Minta illesztés és összesítés

SELECT
  i_category,
  d_year,
  SUM(ss_net_paid) AS total_revenue
FROM samples.tpcds_sf1.store_sales ss
JOIN samples.tpcds_sf1.item i ON ss.ss_item_sk = i.i_item_sk
JOIN samples.tpcds_sf1.date_dim d ON ss.ss_sold_date_sk = d.d_date_sk
WHERE d.d_year = 2001
GROUP BY i_category, d_year
ORDER BY total_revenue DESC
LIMIT 10;

Ajánlott eljárások

• A lekérdezési előzmények és a lekérdezési profil használatával megismerheti a teljesítmény jellemzőit, és azonosíthatja az optimalizálási lehetőségeket.
• Kezdje a kisebb tpcds_sf1 adatkészlettel a kezdeti teszteléshez, majd lépjen tovább a nagyobb tpcds_sf1000 adatkészletre az átfogó teljesítményértékeléshez.
• Hasonlítsa össze a lekérdezési teljesítményt különböző SQL Warehouse-méretekben a számítási feladatok optimális konfigurációinak meghatározásához.
• Ezekkel a szabványosított adatkészletekkel alakíthat ki teljesítménybeli alapkonfigurációkat, és nyomon követheti a fejlesztéseket az idő függvényében.