Bilgisayar sistem tabloları başvuru kaynağı

Bu makalede, işlem sistemi tabloları için bir başvuru kılavuzu sağlanır. Bu tabloları, hesabınızdaki klasik çok amaçlı işlem, iş işlemleri ve Lakeflow işlem hatları işleminin etkinliğini ve ölçümlerini izlemek için kullanabilirsiniz. Bu klasik işlem tabloları şunlardır:

• clusters: Hesabınızdaki işlem yapılandırmalarını kaydeder.
• node_types: Donanım bilgileri de dahil olmak üzere şu anda kullanılabilir olan düğüm türlerinin her biri için tek bir kayıt içerir.
• node_timeline: İşleminizin kullanım ölçümlerinin dakika dakika kayıtlarını içerir.
• instance_events: Klasik işlem örneklerinin durum geçişlerini yakalar.
• instance_pools: Hesabınızdaki örnek havuzu yapılandırmalarını kaydeder.

Küme tablosu şeması

Küme tablosu, çok amaçlı işlem, işler işlem, Lakeflow işlem hatları işlemi ve işlem hattı bakım işlemi için zaman içindeki işlem yapılandırmalarının tam geçmişini içeren yavaş değişen bir boyut tablosudur.

Tablo yolu: Bu sistem tablosu system.compute.clusters'de yer almaktadır.

Erişim modu referansı

Aşağıdaki tablo, sütunda data_security_mode yer alan olası değerleri çevirir. Sütun, belirli işlem hatları ve sistem tarafından oluşturulan kümeler için de olabilir null .

Eski erişim modları aşağıdaki değerlerle kaydedilir:

Düğüm türleri tablo şeması

Düğüm türü tablosu, şu anda kullanılabilir olan düğüm türlerini temel donanım bilgileriyle yakalar.

Tablo yolu: Bu sistem tablosu system.compute.node_typeskonumunda bulunur.

Düğüm zaman çizelgesi tablosu şeması

Düğüm zaman çizelgesi tablosu, düğüm düzeyinde kaynak kullanım verilerini dakika ayrıntı düzeyinde yakalar. Her kayıt, örnek başına belirli bir dakika boyunca veri içerir. Bu tablo, hesabınızdaki tüm amaçlı işlem, iş işlemleri, Lakeflow işlem hatları işlem ve işlem hattı bakım işlem kaynakları için düğüm zaman çizelgelerini yakalar.

Tablo yolu: Bu sistem tablosu system.compute.node_timelinekonumunda bulunur.

Örnek olayları tablosu şeması

Örnek olayları tablosu, klasik işlem örneklerinin durum geçişlerini yakalar. Her satır, tek bir örnek için durum değişikliğini temsil eder. Bu tablo, hesabınızdaki tüm çalışma alanlarından aynı bulut bölgesine dağıtılan tüm çalışma alanlarındaki tüm amaçlı işlem, iş hesaplama ve Lakeflow işlem hatları için kayıtları içerir.

Tablo yolu: Bu sistem tablosu system.compute.instance_eventskonumunda bulunur.

Örnek durumları

• INSTANCE_LAUNCHING: Örnek başlatılıyor.
• INSTANCE_READY: Örnek tamamen başlatılır ve kullanılmaya hazırdır, ancak şu anda kullanımda değildir.
• INSTANCE_PLACED: Örnek şu anda kullanımda (kümeye katılmış).
• INSTANCE_TERMINATED: Örnek sonlandırıldı.

cluster_id ne zaman doldurulur?

Alan cluster_id yalnızca örnek INSTANCE_PLACED durumunda olduğunda doldurulur. Diğer tüm eyaletler için (INSTANCE_LAUNCHING, INSTANCE_READY), INSTANCE_TERMINATEDcluster_idşeklindedirnull. Bu davranış hem havuza alınan hem de havuza alınan olmayan örnekler için tutarlıdır.

Tablo instance_events yalnızca tüm amaçlı, işler ve Lakeflow işlem hatları için yerleştirme olaylarını içerir. SQL ambarları gibi diğer iş yükleri için yerleştirme olayları bu tabloya dahil değildir.

Örnek havuzları tablo şeması

Örnek havuzları tablosu, zaman içindeki örnek havuzu yapılandırmalarının tam geçmişini içeren yavaş değişen bir boyut tablosudur. Yapılandırma değiştiğinde, mantıksal olarak öncekinin yerini alan yeni bir satır yayılır.

Tablo yolu: Bu sistem tablosu system.compute.instance_poolskonumunda bulunur.

Bilinen sınırlamalar

• 23 Ekim 2023'e kadar silinmiş olarak işaretlenen işlem kaynakları kümeler tablosunda görünmez. Bu, system.billing.usage tablosundan birleştirmelerin kümeler tablosundaki kayıtlarla eşleşmemesiyle sonuçlanabilir. Tüm etkin işlem kaynakları yedeklendi.
• Bu tablolar yalnızca genel amaçlı ve iş hesaplama için kayıtları içerir. Sunucusuz işlem veya SQL ambarları için kayıtlar içermezler.
• 10 dakikadan kısa bir süre boyunca çalıştırılmayan düğümler node_timeline tablosunda görünmeyebilir.

Örnek sorgular

Sık sorulan soruları yanıtlamak için aşağıdaki örnek sorguları kullanabilirsiniz:

• Küme kayıtlarını en son faturalama kayıtlarıyla birleştirme
• En yüksek ortalama kullanım ve en yüksek kullanım ile işlem kaynaklarını belirleme
• Her örnek havuzunun en son sürümünü alma
• Boşta ve etkin zamanı hesaplama

En son faturalama kayıtlarıyla küme kayıtlarını birleştirme

Bu sorgu, zaman içindeki harcamaları anlamanıza yardımcı olabilir. usage_start_time en güncel faturalama dönemine güncelleştirdiğinizde, küme verilerine katılmak için faturalama kayıtlarında yapılan en son güncelleştirmeleri alır.

Her kayıt, o belirli çalıştırma sırasında küme sahibiyle ilişkilendirilir. Bu nedenle, küme sahibi değişirse maliyetler, kümenin ne zaman kullanıldığına bağlı olarak doğru sahipe yuvarlanır.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

En yüksek ortalama kullanıma ve maksimum kullanıma sahip hesaplama kaynaklarını belirleyin.

En yüksek ortalama CPU kullanımı ve en yüksek zirve CPU kullanımı olan çok amaçlı ve görev amaçlı hesaplamayı belirleyin.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

Her örnek havuzunun en son sürümünü alma

Tablo instance_pools SCD2 türüdür; burada mevcut kayıtları güncelleştirmek yerine her değişiklik yapıldığında yeni bir kayıt oluşturulur. En son sürümü almak için en büyük change_timeile girdisini alın.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

Boşta ve etkin zamanı hesaplama

Bu sorgu, tablodan durum geçişlerini instance_events kullanarak her örnek için toplam boşta kalma süresini ve etkin süreyi hesaplar.

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;