Logging und Monitoring für Anwendungen aktivieren

Auf dieser Seite wird gezeigt, wie Sie einen Cluster für Google Distributed Cloud so konfigurieren, dass benutzerdefinierte Logs und Messwerte aus Nutzeranwendungen an Cloud Logging und Cloud Monitoring und an den Google Cloud Managed Service for Prometheus gesendet werden.

Für eine optimale Protokollierung und Überwachung von Nutzeranwendungen empfehlen wir die folgende Konfiguration:

• Aktivieren Sie Google Cloud Managed Service for Prometheus, indem Sie im Objekt Stackdriver enableGMPForApplications auf true festlegen. Mit dieser Konfiguration können Sie Ihre Arbeitslasten mit Prometheus global überwachen und Benachrichtigungen dazu erhalten. Eine Anleitung und weitere Informationen finden Sie auf dieser Seite unter Google Cloud Managed Service for Prometheus aktivieren.

• Aktivieren Sie Cloud Logging für Nutzeranwendungen, indem Sie im Stackdriver-Objekt enableCloudLoggingForApplications auf true festlegen. Diese Konfiguration ermöglicht das Logging Ihrer Arbeitslasten. Eine Anleitung und weitere Informationen finden Sie auf dieser Seite unter Cloud Logging für Nutzeranwendungen aktivieren.

Google Cloud Managed Service for Prometheus aktivieren

Die Konfiguration für Google Cloud Managed Service for Prometheus wird in einem Stackdriver-Objekt mit dem Namen stackdriver angegeben. Weitere Informationen sowie Best Practices und Fehlerbehebungen finden Sie in der Dokumentation zu Google Cloud Managed Service for Prometheus.

So konfigurieren Sie das Objekt stackdriver, um Google Cloud Managed Service for Prometheus zu aktivieren:

1. Öffnen Sie das Stackdriver-Objekt zur Bearbeitung:

   kubectl --kubeconfig=CLUSTER_KUBECONFIG \
       --namespace kube-system edit stackdriver stackdriver
   

   Ersetzen Sie CLUSTER_KUBECONFIG durch den Pfad der kubeconfig-Datei des Clusters.

2. Legen Sie unter spec den Wert enableGMPForApplications auf true fest:

   apiVersion: addons.gke.io/v1alpha1
   kind: Stackdriver
   metadata:
     name: stackdriver
     namespace: kube-system
   spec:
     projectID: ...
     clusterName: ...
     clusterLocation: ...
     proxyConfigSecretName: ...
     enableGMPForApplications: true
     enableVPC: ...
     optimizedMetrics: true
   

3. Speichern und schließen Sie die bearbeitete Datei.

   Die von Google verwalteten Prometheus-Komponenten werden automatisch im Cluster im Namespace gmp-system gestartet.

4. Prüfen Sie die von Google verwalteten Prometheus-Komponenten:

   kubectl --kubeconfig=CLUSTER_KUBECONFIG --namespace gmp-system get pods
   

   Die Ausgabe dieses Befehls sieht so aus:

   NAME                              READY   STATUS    RESTARTS        AGE
   collector-abcde                   2/2     Running   1 (5d18h ago)   5d18h
   collector-fghij                   2/2     Running   1 (5d18h ago)   5d18h
   collector-klmno                   2/2     Running   1 (5d18h ago)   5d18h
   gmp-operator-68d49656fc-abcde     1/1     Running   0               5d18h
   rule-evaluator-7c686485fc-fghij   2/2     Running   1 (5d18h ago)   5d18h
   

Google Cloud Managed Service for Prometheus unterstützt die Regelauswertung und Benachrichtigungen. Informationen zum Einrichten der Regelauswertung finden Sie unter Regelauswertung.

Beispielanwendung ausführen

Der verwaltete Dienst stellt ein Manifest für eine Beispielanwendung prom-example bereit, die Prometheus-Messwerte am metrics-Port ausgibt. Die Anwendung verwendet drei Replikate.

So stellen Sie die Anwendung bereit:

1. Erstellen Sie den Namespace gmp-test für Ressourcen, die Sie als Teil der Beispielanwendung erstellen:

   kubectl --kubeconfig=CLUSTER_KUBECONFIG create ns gmp-test
   

2. Wenden Sie das Anwendungsmanifest mit dem folgenden Befehl an:

   kubectl -n gmp-test apply \
       -f https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.4.1/examples/example-app.yaml
   

PodMonitoring-Ressource konfigurieren

In diesem Abschnitt konfigurieren Sie eine benutzerdefinierte PodMonitoring-Ressource, um von der Beispielanwendung ausgegebene Messwertdaten zu erfassen und an Google Cloud Managed Service for Prometheus zu senden. Die benutzerdefinierte Ressource PodMonitoring verwendet Ziel-Scraping. In diesem Fall wenden die Collector-Agents Scraping auf den Endpunkt /metrics, an den die Beispielanwendung Daten ausgibt.

Eine benutzerdefinierte PodMonitoring-Ressource wendet Ziel-Scraping nur in dem Namespace an, in dem sie bereitgestellt wird. Wenn Sie Ziel-Scraping in mehreren Namespaces anwenden möchten, stellen Sie in jedem Namespace dieselbe benutzerdefinierte PodMonitoring-Ressource bereit. Mit dem folgenden Befehl können Sie prüfen, ob die PodMonitoring-Ressource im gewünschten Namespace installiert ist:

kubectl --kubeconfig CLUSTER_KUBECONFIG get podmonitoring -A

Eine Referenzdokumentation zu allen benutzerdefinierten Ressourcen für Google Cloud Managed Service for Prometheus finden Sie in der Referenz zu prometheus-engine/doc/api.

Das folgende Manifest definiert die PodMonitoring-Ressource prom-example im Namespace gmp-test. Die Ressource findet alle Pods im Namespace mit dem Label app mit dem Wert prom-example. Die übereinstimmenden Pods werden an einem Port mit dem Namen metrics alle 30 Sekunden über den /metrics-HTTP-Pfad extrahiert.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: prom-example
spec:
  selector:
    matchLabels:
      app: prom-example
  endpoints:
  - port: metrics
    interval: 30s

Führen Sie folgenden Befehl aus, um diese Ressource anzuwenden:

kubectl --kubeconfig CLUSTER_KUBECONFIG -n gmp-test apply \
    -f https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.4.1/examples/pod-monitoring.yaml

Google Cloud Managed Service for Prometheus extrahiert jetzt übereinstimmende Pods.

Messwertdaten abfragen

Am einfachsten können Sie prüfen, ob Ihre Prometheus-Daten exportiert werden, indem Sie PromQL-Abfragen im Metrics Explorer in der Google Cloud Console verwenden.

So führen Sie eine PromQL-Abfrage aus:

1. Rufen Sie in der Google Cloud Console die Seite Monitoring auf oder klicken Sie auf die folgende Schaltfläche:

   Zu Monitoring

2. Wählen Sie im Navigationsbereich Metrics Explorer aus.

3. Verwenden Sie die Prometheus-Abfragesprache (PromQL), um die Daten anzugeben, die im Diagramm angezeigt werden sollen:

   1. Wählen Sie in der Symbolleiste des Bereichs Messwert auswählen die Option Code-Editor aus.

   2. Wählen Sie im Menü Sprache die Ein/Aus-Schaltfläche PromQL aus. Die Sprachenschaltfläche befindet sich unten im Bereich Code-Editor.

   3. Geben Sie eine Abfrage in den Abfrageeditor ein. Wenn Sie beispielsweise die durchschnittliche Anzahl der Sekunden, die die CPUs in den einzelnen Modi in der letzten Stunde verbracht haben, grafisch darstellen möchten, verwenden Sie die folgende Abfrage:

      avg(rate(kubernetes_io:anthos_container_cpu_usage_seconds_total
      {monitored_resource="k8s_node"}[1h]))
      

   Weitere Informationen zur Verwendung von PromQL finden Sie unter PromQL in Cloud Monitoring.

Der folgende Screenshot zeigt ein Diagramm mit dem Messwert anthos_container_cpu_usage_seconds_total:

Wenn Sie große Datenmengen erfassen, können Sie exportierte Messwerte filtern, um die Kosten niedrig zu halten.

Cloud Logging für Nutzeranwendungen aktivieren

Die Konfiguration für Cloud Logging und Cloud Monitoring wird in einem Stackdriver-Objekt namens stackdriver gespeichert.

1. Öffnen Sie das Stackdriver-Objekt zur Bearbeitung:

   kubectl --kubeconfig=CLUSTER_KUBECONFIG \
       --namespace kube-system edit stackdriver stackdriver
   

   Ersetzen Sie CLUSTER_KUBECONFIG durch den Pfad der kubeconfig-Datei des Nutzerclusters.

2. Legen Sie im Abschnitt spec den Wert enableCloudLoggingForApplications auf true fest:

   apiVersion: addons.gke.io/v1alpha1
     kind: Stackdriver
     metadata:
       name: stackdriver
       namespace: kube-system
     spec:
       projectID: ...
       clusterName: ...
       clusterLocation: ...
       proxyConfigSecretName: ...
       enableCloudLoggingForApplications: true
       enableVPC: ...
       optimizedMetrics: true
   

3. Speichern und schließen Sie die bearbeitete Datei.

Beispielanwendung ausführen

In diesem Abschnitt erstellen Sie eine Anwendung, die benutzerdefinierte Logs schreibt.

1. Speichern Sie das folgende Deployment-Manifeste in eine Datei mit dem Namen my-app.yaml.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: "monitoring-example"
     namespace: "default"
     labels:
       app: "monitoring-example"
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: "monitoring-example"
     template:
       metadata:
         labels:
           app: "monitoring-example"
       spec:
         containers:
         - image: gcr.io/google-samples/prometheus-dummy-exporter:latest
           name: prometheus-example-exporter
           imagePullPolicy: Always
           command:
           - /bin/sh
           - -c
           - ./prometheus-dummy-exporter --metric-name=example_monitoring_up --metric-value=1 --port=9090
           resources:
             requests:
               cpu: 100m
   

2. Deployment erstellen

   kubectl --kubeconfig CLUSTER_KUBECONFIG apply -f my-app.yaml
   

Anwendungslogs aufrufen.

Anwendungslogs filtern

Durch das Filtern von Anwendungslogs können Sie die Abrechnung für Anwendungsprotokolle und den Netzwerkverkehr vom Cluster zu Cloud Logging reduzieren. Ab Google Distributed Cloud-Release 1.15.0 können Sie Anwendungsprotokolle nach den folgenden Kriterien filtern, wenn enableCloudLoggingForApplications auf true festgelegt ist:

• Pod-Labels (podLabelSelectors)
• Namespaces (namespaces)
• Reguläre Ausdrücke für Protokollinhalte (contentRegexes)

Google Distributed Cloud sendet nur die Filterergebnisse an Cloud Logging.

Anwendungslogfilter definieren

Die Konfiguration für Logging wird in einem Stackdriver-Objekt namens stackdriver angegeben.

1. Öffnen Sie das Objekt stackdriver zum Bearbeiten:

   kubectl --kubeconfig USER_CLUSTER_KUBECONFIG --namespace kube-system \
       edit stackdriver stackdriver
   

   Ersetzen Sie USER_CLUSTER_KUBECONFIG durch den Pfad der kubeconfig-Datei des Nutzerclusters.

2. Fügen Sie dem spec einen appLogFilter-Abschnitt hinzu:

     apiVersion: addons.gke.io/v1alpha1
     kind: Stackdriver
     metadata:
       name: stackdriver
       namespace: kube-system
     spec:
       enableCloudLoggingForApplications: true
       projectID: ...
       clusterName: ...
       clusterLocation: ...
       appLogFilter:
         keepLogRules:
         - namespaces:
           - prod
           ruleName: include-prod-logs
         dropLogRules:
         - podLabelSelectors:
           - disableGCPLogging=yes
           ruleName: drop-logs
   

3. Speichern und schließen Sie die bearbeitete Datei.

4. Optional: Wenn Sie podLabelSelectors verwenden, starten Sie das stackdriver-log-forwarder-DaemonSet neu, damit Ihre Änderungen so schnell wie möglich wirksam werden:

   kubectl --kubeconfig USER_CLUSTER_KUBECONFIG --namespace kube-system \
       rollout restart daemonset stackdriver-log-forwarder
   

   Normalerweise sind podLabelSelectors nach 10 Minuten wirksam. Wenn Sie das DaemonSet stackdriver-log-forwarder neu starten, werden die Änderungen schneller wirksam.

Beispiel: ERROR- oder WARN-Protokolle nur im prod-Namespace einbeziehen

Das folgende Beispiel veranschaulicht die Funktionsweise eines Anwendungsprotokollfilters. Sie definieren einen Filter, der einen Namespace (prod), einen regulären Ausdruck (.*(ERROR|WARN).*) und ein Pod-Label (disableGCPLogging=yes) verwendet. Um zu prüfen, ob der Filter funktioniert, führen Sie dann einen Pod im Namespace prod aus, um diese Filterbedingungen zu testen.

So definieren und testen Sie einen Anwendungs-Log-Filter:

1. Geben Sie im Stackdriver-Objekt einen Anwendungs-Log-Filter an:

   Im folgenden appLogFilter-Beispiel werden nur ERROR- oder WARN-Logs im prod-Namespace beibehalten. Alle Protokolle für Pods mit dem Label disableGCPLogging=yes werden gelöscht:

   apiVersion: addons.gke.io/v1alpha1
   kind: Stackdriver
   metadata:
     name: stackdriver
     namespace: kube-system
   spec:
     ...
     appLogFilter:
       keepLogRules:
       - namespaces:
         - prod
         contentRegexes:
         - ".*(ERROR|WARN).*"
         ruleName: include-prod-logs
       dropLogRules:
       - podLabelSelectors:
         - disableGCPLogging=yes # kubectl label pods pod disableGCPLogging=yes
         ruleName: drop-logs
   ...
   

2. Pod im Namespace prod bereitstellen und ein Script ausführen, das ERROR und INFO-Logeinträge generiert:

   kubectl --kubeconfig USER_CLUSTER_KUBECONFIG run pod1 \
       --image gcr.io/cloud-marketplace-containers/google/debian10:latest \
       --namespace prod --restart Never --command -- \
       /bin/sh -c "while true; do echo 'ERROR is 404\\nINFO is not 404' && sleep 1; done"
   

   Die gefilterten Logs sollten nur die ERROR-Einträge enthalten, nicht die INFO-Einträge.

3. Fügen Sie dem Pod das Label disableGCPLogging=yes hinzu:

   kubectl --kubeconfig USER_CLUSTER_KUBECONFIG label pods pod1 \
       --namespace prod disableGCPLogging=yes
   

   Das gefilterte Protokoll sollte keine Einträge mehr für den pod1-Pod enthalten.

API-Definition für den Anwendungs-Log-Filter

Die Definition für den Anwendungs-Log-Filter wird in der benutzerdefinierten Ressourcendefinition des Stackdrivers angegeben.

Führen Sie den folgenden Befehl aus, um die benutzerdefinierte Stackdriver-Ressourcendefinition abzurufen:

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get crd stackdrivers.addons.gke.io \
    --namespace kube-system -o yaml