Azure Kubernetes Hizmeti (AKS) düğümlerinde Node Problem Dedektörü (NPD)

Node Problem Dedektörü (NPD), düğüm ile ilgili sorunları tespit eden ve bunları raporlayan açık kaynaklı bir Kubernetes bileşenidir. Kümedeki her bir düğümde systemd hizmeti olarak çalışır ve CPU kullanımı, disk kullanımı ve ağ bağlantısı gibi çeşitli metrikler ve sistem bilgilerini toplar. Bir sorun tespit ettiğinde, olaylar ve/veya düğüm koşulları oluşturur. Azure Kubernetes Service (AKS), Azure bulut platformunda çalışan bir Kubernetes kümesindeki düğümleri izlemek ve yönetmek için NPD kullanır. AKS Linux uzantısı varsayılan olarak NPD'yi etkinleştirir.

Düğüm koşulları

Düğüm koşulları, düğümün kullanılamaz hale gelmesine neden olan kalıcı bir sorunu gösterir. AKS, düğümdeki kalıcı sorunları ortaya çıkarmak için NPD'den gelen aşağıdaki düğüm koşullarını kullanır. NPD, ilgili Kubernetes olaylarını da yayar.

Etkinlikler

NPD, temel sorunları teşhis etmenize yardımcı olmak için ilgili bilgileri içeren olaylar yayımlar.

Belirli durumlarda, AKS, iş yükleri üzerindeki kesintiyi en aza indirmek için düğümü otomatik olarak izole edip tahliye eder. Olaylar ve eylemler hakkında daha fazla bilgi için bkz . Node autodrain.

Çıkış Engellendi

EgressBlocked tarafından denetlenen uç noktaların listesi aşağıda listelenmiştir

Düğüm koşullarını ve olaylarını kontrol et

• Düğüm koşullarını ve olaylarını kubectl describe node komutunu kullanarak kontrol edin.

  kubectl describe node my-aks-node
  

  Çıktınız aşağıdaki örnek yoğunlaştırılmış çıktıya benzer şekilde görünmelidir:

  ...
  ...
  
  Conditions:
    Type                          Status  LastHeartbeatTime                 LastTransitionTime                Reason                          Message
    ----                          ------  -----------------                 ------------------                ------                          -------
    VMEventScheduled              False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoVMEventScheduled              VM has no scheduled event
    FrequentContainerdRestart     False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentContainerdRestart     containerd is functioning properly
    FrequentDockerRestart         False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentDockerRestart         docker is functioning properly
    FilesystemCorruptionProblem   False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   FilesystemIsOK                  Filesystem is healthy
    FrequentUnregisterNetDevice   False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentUnregisterNetDevice   node is functioning properly
    ContainerRuntimeProblem       False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:40 +0000   ContainerRuntimeIsUp            container runtime service is up
    KernelDeadlock                False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   KernelHasNoDeadlock             kernel has no deadlock
    FrequentKubeletRestart        False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentKubeletRestart        kubelet is functioning properly
    KubeletProblem                False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   KubeletIsUp                     kubelet service is up
    ReadonlyFilesystem            False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   FilesystemIsNotReadOnly         Filesystem is not read-only
    NetworkUnavailable            False   Thu, 01 Jun 2023 03:58:39 +0000   Thu, 01 Jun 2023 03:58:39 +0000   RouteCreated                    RouteController created a route
    MemoryPressure                True    Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 19:16:50 +0000   KubeletHasInsufficientMemory    kubelet has insufficient memory available
    DiskPressure                  False   Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 03:57:22 +0000   KubeletHasNoDiskPressure        kubelet has no disk pressure
    PIDPressure                   False   Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 03:57:22 +0000   KubeletHasSufficientPID         kubelet has sufficient PID available
    Ready                         True    Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 03:57:23 +0000   KubeletReady                    kubelet is posting ready status. AppArmor enabled
  ...
  ...
  ...
  Events:
    Type    Reason                   Age                  From     Message
    ----    ------                   ----                 ----     -------
    Normal  NodeHasSufficientMemory  94s (x176 over 15h)  kubelet  Node aks-agentpool-40622340-vmss000009 status is now: NodeHasSufficientMemory
  

Bu olaylar ayrıca, KubeEvents aracılığıyla Container Insights'de de kullanılabilir.

Ölçümler

NPD, izleme ve uyarı amaçları için kullanabileceğiniz, düğüm sorunlarına dayalı olarak Prometheus metriklerini de ortaya koyar. Bu metrikler, Node IP'sinin 20257 numaralı portunda sunulmaktadır ve Prometheus onları tarayabilir.

Aşağıdaki YAML örneği, Azure Managed Prometheus eklentisi için DaemonSet olarak kullanabileceğiniz bir scrape yapılandırmasını gösterir:

kind: ConfigMap
apiVersion: v1
metadata:
  name: ama-metrics-prometheus-config-node
  namespace: kube-system
data:
  prometheus-config: |-
    global:
      scrape_interval: 1m
    scrape_configs:
    - job_name: node-problem-detector
      scrape_interval: 1m
      scheme: http
      metrics_path: /metrics
      relabel_configs:
      - source_labels: [__metrics_path__]
        regex: (.*)
        target_label: metrics_path
      - source_labels: [__address__]
        replacement: '$NODE_NAME'
        target_label: instance
      static_configs:
      - targets: ['$NODE_IP:20257']

Aşağıdaki örnek, kazınmış ölçümleri göstermektedir.

problem_gauge{reason="UnregisterNetDevice",type="FrequentUnregisterNetDevice"} 0
problem_gauge{reason="VMEventScheduled",type="VMEventScheduled"} 0

Sonraki adımlar

NPD hakkında daha fazla bilgi için kubernetes/node-problem-detector sayfasına bakın.