Config Sync mit Prometheus überwachen

Auf dieser Seite wird gezeigt, wie Sie Messwerte von Config Sync an Prometheus senden.

Auf dieser Seite wird erläutert, wie Sie mit Prometheus Config Sync-Messwerte aufrufen. Weitere Möglichkeiten zum Exportieren von Messwerten finden Sie unter Config Sync mit Cloud Monitoring überwachen oder Config Sync mit benutzerdefiniertem Monitoring überwachen.

Config Sync erfasst automatisch Messwerte und exportiert sie nach Prometheus. Sie haben auch die Möglichkeit, Cloud Monitoring so zu konfigurieren, dass benutzerdefinierte Messwerte von Prometheus abgerufen werden. Dann können Sie benutzerdefinierte Messwerte in Prometheus und in Monitoring aufrufen. Weitere Informationen finden Sie in der GKE-Dokumentation unter Prometheus verwenden.

Messwerte abrufen

Alle Messwerte können per Scraping an Port 8675 abgerufen werden. Bevor Sie Messwerte abrufen können, müssen Sie Ihren Cluster für Prometheus konfigurieren. Entweder:

• Sie können den Cluster gemäß der Prometheus-Dokumentation für Scraping konfigurieren oder

• Sie verwenden den Prometheus Operator zusammen mit den folgenden Manifesten, die alle Config Sync-Messwerte alle 10 Sekunden extrahieren.

  1. Erstellen Sie ein temporäres Verzeichnis für die Manifestdateien.

     mkdir config-sync-monitor
     cd config-sync-monitor
     

  2. Laden Sie das Prometheus Operator-Manifest aus dem CoreOS-Repository mit dem Befehl curl herunter:

     curl -o bundle.yaml https://raw.githubusercontent.com/coreos/prometheus-operator/master/bundle.yaml
     

     Dieses Manifest ist für die Verwendung des Namespace default konfiguriert. Dieser wird nicht empfohlen. Im nächsten Schritt wird daher die Konfiguration so geändert, dass stattdessen ein Namespace namens monitoring genutzt wird. Wenn Sie einen anderen Namespace verwenden möchten, ersetzen Sie in den nachfolgenden Schritten monitoring durch den gewünschten Namespace.

  3. Erstellen Sie eine Datei, um den Namespace des ClusterRoleBinding im obigen Bundle zu aktualisieren.

     # patch-crb.yaml
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRoleBinding
     metadata:
       name: prometheus-operator
     subjects:
     - kind: ServiceAccount
       name: prometheus-operator
       namespace: monitoring # we are patching from default namespace
     

  4. Erstellen Sie eine Datei kustomization.yaml, die den Patch anwendet und den Namespace für andere Ressourcen im Manifest ändert.

     # kustomization.yaml
     resources:
     - bundle.yaml
     
     namespace: monitoring
     
     patchesStrategicMerge:
     - patch-crb.yaml
     

  5. Erstellen Sie den Namespace monitoring, falls noch keiner vorhanden ist. Sie können dem Namespace einen anderen Namen geben, müssen dann aber auch den Wert für namespace in den YAML-Manifesten aus den vorherigen Schritten ändern.

     kubectl create namespace monitoring
     

  6. Führen Sie den folgenden Befehl aus, um das Manifest anzuwenden:

     kubectl apply -k .
     
     until kubectl get customresourcedefinitions servicemonitors.monitoring.coreos.com ; \
     do date; sleep 1; echo ""; done

     Der zweite Befehl wird blockiert, bis die CRDs im Cluster verfügbar sind.

  7. Erstellen Sie das Manifest für die Ressourcen, die zur Konfiguration eines Prometheus-Servers erforderlich sind, mit dem Messwerte aus Config Sync abgerufen werden.

     # config-sync-monitoring.yaml
     apiVersion: v1
     kind: ServiceAccount
     metadata:
       name: prometheus-config-sync
       namespace: monitoring
     ---
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRole
     metadata:
       name: prometheus-config-sync
     rules:
     - apiGroups: [""]
       resources:
       - nodes
       - services
       - endpoints
       - pods
       verbs: ["get", "list", "watch"]
     - apiGroups: [""]
       resources:
       - configmaps
       verbs: ["get"]
     - nonResourceURLs: ["/metrics"]
       verbs: ["get"]
     ---
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRoleBinding
     metadata:
       name: prometheus-config-sync
     roleRef:
       apiGroup: rbac.authorization.k8s.io
       kind: ClusterRole
       name: prometheus-config-sync
     subjects:
     - kind: ServiceAccount
       name: prometheus-config-sync
       namespace: monitoring
     ---
     apiVersion: monitoring.coreos.com/v1
     kind: Prometheus
     metadata:
       name: config-sync
       namespace: monitoring
       labels:
         prometheus: config-sync
     spec:
       replicas: 2
       serviceAccountName: prometheus-config-sync
       serviceMonitorSelector:
         matchLabels:
           prometheus: config-management
       alerting:
         alertmanagers:
         - namespace: default
           name: alertmanager
           port: web
       resources:
         requests:
           memory: 400Mi
     ---
     apiVersion: v1
     kind: Service
     metadata:
       name: prometheus-config-sync
       namespace: monitoring
       labels:
         prometheus: config-sync
     spec:
       type: NodePort
       ports:
       - name: web
         nodePort: 31900
         port: 9190
         protocol: TCP
         targetPort: web
       selector:
         prometheus: config-sync
     --- 
     --- 
     

  8. Führen Sie den folgenden Befehl aus, um das Manifest anzuwenden:

     kubectl apply -f config-sync.yaml
     
     until kubectl rollout status statefulset/prometheus-config-sync -n monitoring; \
     do sleep 1; done
     

     Der zweite Befehl wird blockiert, bis die Pods ausgeführt werden.

  9. Sie können die Installation prüfen, indem Sie den Webport des Prometheus-Servers an Ihren lokalen Computer weiterleiten.

     kubectl -n monitoring port-forward svc/prometheus-config-sync 9190
     

     Sie können jetzt unter http://localhost:9190 auf die Prometheus-Web-UI zugreifen.

  10. Entfernen Sie das temporäre Verzeichnis.

      cd ..
      rm -rf config-sync-monitor
      

Verfügbare Prometheus-Messwerte

Config Sync erfasst die folgenden Messwerte und stellt sie Prometheus zur Verfügung. In der Spalte Labels werden alle Labels aufgelistet, die für jeden Messwert gelten. Messwerte ohne Labels stellen eine einzelne Messung über die Zeit dar, während Messwerte mit Labels mehrere Messungen darstellen, eine für jede Kombination von Labelwerten.

Wenn diese Tabelle nicht mehr synchronisiert ist, können Sie die Messwerte in der Prometheus-Benutzeroberfläche nach Präfix filtern. Alle Messwerte beginnen mit dem Präfix config_sync_.

Beispiel für Debugging-Verfahren für Prometheus

Die folgenden Beispiele veranschaulichen einige Muster für die Verwendung von Prometheus-Messwerten, Objektstatusfeldern und Objektannotationen zum Erkennen und Diagnostizieren von Problemen im Zusammenhang mit Config Sync. Diese Beispiele zeigen, wie Sie mit Monitoring auf hoher Ebene beginnen, ein Problem erkennen und dann Ihre Suche schrittweise verfeinern können, um eine Aufschlüsselung durchzuführen und die Ursache des Problems zu diagnostizieren.

Konfigurationen nach Status abfragen

Der reconciler-Prozess bietet allgemeine Messwerte, die nützliche Einblicke in die Gesamtübersicht über die Funktionsweise von Config Sync im Cluster geben. Sie können sehen, ob Fehler aufgetreten sind, und sogar Warnungen für diese einrichten.

config_sync_reconciler_errors

Messwerte nach Abgleich abfragen

Wenn Sie Config Sync RootSync und RepoSync APIs verwenden, können Sie die RootSync- und RepoSync-Objekte überwachen. Die RootSync- und RepoSync-Objekte sind mit allgemeinen Messwerten instrumentiert, die Ihnen Einblick in die Funktionsweise von Config Sync im Cluster bieten. Fast alle Messwerte sind mit dem Abgleichnamen gekennzeichnet, sodass Sie sehen können, ob Fehler aufgetreten sind, und Sie können in Prometheus Benachrichtigungen für sie einrichten.

Sehen Sie sich eine vollständige Liste der verfügbaren Messwertlabels zum Filtern an.

In Prometheus können Sie die folgenden Filter für RootSyncs oder RepoSyncs verwenden:

# Querying RootSync
config_sync_reconciler_errors{configsync_sync_name=ROOT_SYNC_NAME}

# Querying RepoSync
config_sync_reconciler_errors{configsync_sync_name=REPO_SYNC_NAME}

Import- und Synchronisierungsvorgänge nach Status abfragen

In Prometheus können Sie die folgenden Abfragen verwenden:

# Check for errors that occurred when sourcing configs.
config_sync_reconciler_errors{component="source"}

# Check for errors that occurred when syncing configs to the cluster.
config_sync_reconciler_errors{component="sync"}

Sie können auch die Messwerte für den Quell- und Synchronisierungsprozess selbst prüfen:

config_sync_parser_duration_seconds{status="error"}
config_sync_apply_duration_seconds{status="error"}
config_sync_remediate_duration_seconds{status="error"}

Ressourcen mit Google Cloud Managed Service for Prometheus überwachen

Google Cloud Managed Service for Prometheus ist die vollständig verwaltete Multi-Cloud-Lösung von Google Cloud für Prometheus-Messwerte. Er unterstützt zwei Modi für die Datenerfassung: die verwaltete Datenerfassung (der empfohlene Modus) oder die selbst bereitgestellte Datenerfassung. Führen Sie die folgenden Schritte aus, um Config Sync mit Google Cloud Managed Service for Prometheus im Modus „Verwaltete Datenerfassung“ einzurichten.

1. Aktivieren Sie Managed Prometheus in Ihrem Cluster. Folgen Sie dazu der Anleitung unter Verwaltete Sammlung einrichten.

2. Speichern Sie das folgende Beispielmanifest als pod-monitoring-config-sync-monitoring.yaml: Mit diesem Manifest wird eine PodMonitoring-Ressource konfiguriert, um die Config Sync-Messwerte an Port 8675 des Pods otel-collector-* unter dem Namespace config-management-monitoring zu extrahieren. Die PodMonitoring-Ressource verwendet eine Kubernetes-Labelauswahl, um den Pod otel-collector-* zu finden.

   apiVersion: monitoring.googleapis.com/v1
   kind: PodMonitoring
   metadata:
     name: config-sync-monitoring
     namespace: config-management-monitoring
   spec:
     selector:
       matchLabels:
         app: opentelemetry
         component: otel-collector
     endpoints:
     - port: 8675
       interval: 10s
   

3. Wenden Sie das Manifest auf den Cluster an:

   kubectl apply -f pod-monitoring-config-sync-monitoring.yaml
   

4. Prüfen Sie, ob Ihre Prometheus-Daten in der Google Cloud Console auf der Seite "Cloud Monitoring-Messwert-Explorer" exportiert werden. Folgen Sie dazu der Anleitung unter Verwalteter Dienst für Prometheus-Daten in Cloud Monitoring.