Node Problem Detector (NPD) na uzlech služby Azure Kubernetes Service (AKS)

Node Problem Detector (NPD) je open source komponenta Kubernetes, která detekuje problémy týkající se uzlů a podává o nich zprávy. Spouští se jako služba systemd na každém uzlu v klastru a shromažďuje různé metriky a informace o systému, jako je využití CPU, využití disku a připojení k síti. Když zjistí problém, generuje události a/nebo podmínky uzlu. Azure Kubernetes Service (AKS) používá NPD k monitorování a správě uzlů v clusteru Kubernetes spuštěném na cloudové platformě Azure. Rozšíření AKS Linux povoluje NPD ve výchozím nastavení.

Podmínky uzlu

Podmínky uzlu naznačují trvalý problém, který způsobuje, že je uzel nedostupný. AKS používá následující podmínky uzlů z NPD k odhalení trvalých problémů na uzlu. NPD také vydává odpovídající události Kubernetes.

Události

NPD vysílá události s relevantními informacemi, které vám pomůžou s diagnostikou hlubších problémů.

V některých případech AKS automaticky kabeluje a vyprázdní uzel, aby se minimalizovalo přerušení úloh. Další informace o událostech a akcích naleznete v dokumentu Node autodrain.

Blokovaný výstup

Níže je uvedený seznam koncových bodů, které kontroloval výchozí blok.

Kontrola podmínek a událostí uzlu

• Zkontrolujte podmínky a události uzlu pomocí příkazu kubectl describe node.

  kubectl describe node my-aks-node
  

  Váš výstup by měl vypadat podobně jako následující příklad komprimovaného výstupu:

  ...
  ...
  
  Conditions:
    Type                          Status  LastHeartbeatTime                 LastTransitionTime                Reason                          Message
    ----                          ------  -----------------                 ------------------                ------                          -------
    VMEventScheduled              False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoVMEventScheduled              VM has no scheduled event
    FrequentContainerdRestart     False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentContainerdRestart     containerd is functioning properly
    FrequentDockerRestart         False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentDockerRestart         docker is functioning properly
    FilesystemCorruptionProblem   False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   FilesystemIsOK                  Filesystem is healthy
    FrequentUnregisterNetDevice   False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentUnregisterNetDevice   node is functioning properly
    ContainerRuntimeProblem       False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:40 +0000   ContainerRuntimeIsUp            container runtime service is up
    KernelDeadlock                False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   KernelHasNoDeadlock             kernel has no deadlock
    FrequentKubeletRestart        False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   NoFrequentKubeletRestart        kubelet is functioning properly
    KubeletProblem                False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   KubeletIsUp                     kubelet service is up
    ReadonlyFilesystem            False   Thu, 01 Jun 2023 19:14:25 +0000   Thu, 01 Jun 2023 03:57:41 +0000   FilesystemIsNotReadOnly         Filesystem is not read-only
    NetworkUnavailable            False   Thu, 01 Jun 2023 03:58:39 +0000   Thu, 01 Jun 2023 03:58:39 +0000   RouteCreated                    RouteController created a route
    MemoryPressure                True    Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 19:16:50 +0000   KubeletHasInsufficientMemory    kubelet has insufficient memory available
    DiskPressure                  False   Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 03:57:22 +0000   KubeletHasNoDiskPressure        kubelet has no disk pressure
    PIDPressure                   False   Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 03:57:22 +0000   KubeletHasSufficientPID         kubelet has sufficient PID available
    Ready                         True    Thu, 01 Jun 2023 19:16:50 +0000   Thu, 01 Jun 2023 03:57:23 +0000   KubeletReady                    kubelet is posting ready status. AppArmor enabled
  ...
  ...
  ...
  Events:
    Type    Reason                   Age                  From     Message
    ----    ------                   ----                 ----     -------
    Normal  NodeHasSufficientMemory  94s (x176 over 15h)  kubelet  Node aks-agentpool-40622340-vmss000009 status is now: NodeHasSufficientMemory
  

Tyto události jsou také k dispozici v Container Insights prostřednictvím KubeEvents.

Metodiky

NPD také zpřístupňuje metriky Prometheus založené na problémech uzlu, které můžete použít pro monitorování a upozorňování. Tyto metriky jsou zpřístupněny na portu 20257 IP uzlu a Prometheus je může sbírat.

Následující příklad YAML znázorňuje konfiguraci scrape, kterou můžete použít s doplňkem Azure Managed Prometheus jako DaemonSet:

kind: ConfigMap
apiVersion: v1
metadata:
  name: ama-metrics-prometheus-config-node
  namespace: kube-system
data:
  prometheus-config: |-
    global:
      scrape_interval: 1m
    scrape_configs:
    - job_name: node-problem-detector
      scrape_interval: 1m
      scheme: http
      metrics_path: /metrics
      relabel_configs:
      - source_labels: [__metrics_path__]
        regex: (.*)
        target_label: metrics_path
      - source_labels: [__address__]
        replacement: '$NODE_NAME'
        target_label: instance
      static_configs:
      - targets: ['$NODE_IP:20257']

Následující příklad ukazuje získané metriky:

problem_gauge{reason="UnregisterNetDevice",type="FrequentUnregisterNetDevice"} 0
problem_gauge{reason="VMEventScheduled",type="VMEventScheduled"} 0

Další kroky

Pro více informací o NPD viz kubernetes/node-problem-detector.