Cluster aktualisieren

bmctl

1. Ändern Sie die Werte der anwendbaren Felder in der Konfigurationsdatei des Clusters, die sich standardmäßig hier befindet:
   bmctl-workspace/CLUSTER-NAME/CLUSTER-NAME.yaml

2. Aktualisieren Sie den Cluster mit dem Befehl bmctl update:

   bmctl update cluster -c CLUSTER_NAME --kubeconfig=KUBECONFIG
   

   Ersetzen Sie Folgendes:

   • CLUSTER_NAME: der Name des Clusters, den Sie aktualisieren möchten.
   • KUBECONFIG: Geben Sie für Administrator-, Hybrid- oder eigenständige Cluster den Pfad zur kubeconfig-Datei des Clusters ein. Geben Sie für einen Nutzercluster den Pfad zur kubeconfig-Datei des admin ein.

gcloud-CLI

1. Geben Sie nur die Flags für die Konfiguration an, die Sie ändern möchten.

2. Führen Sie den entsprechenden Aktualisierungsbefehl aus:

   • Administratorcluster: gcloud container bare-metal admin-clusters update

   • Nutzercluster: gcloud container bare-metal clusters update.

   • Knotenpools in einem Nutzercluster: gcloud container bare-metal node-pools update

Terraform

1. Ändern Sie die Werte der anwendbaren Felder in der Terraform-Konfigurationsdatei, die Sie zum Erstellen des Clusters oder Knotenpools verwendet haben. Ausführliche Feldbeschreibungen finden Sie in der Terraform-Referenzdokumentation:

   • google_gkeonprem_bare_metal_admin_cluster

   • google_gkeonprem_bare_metal_cluster

   • google_gkeonprem_bare_metal_node_pool

2. Aktualisieren Sie die Konfiguration mit dem Befehl terraform apply.

bmctl

Sie können einen Knoten zu einem Knotenpool hinzufügen oder daraus entfernen, indem Sie die IP-Adresse des Knotens in einem bestimmten Abschnitt der Cluster-Konfigurationsdatei hinzufügen oder entfernen. Die folgende Liste zeigt, welcher Abschnitt für einen bestimmten Knotenpool bearbeitet werden muss:

• Worker-Knotenpool: Fügen Sie die IP-Adresse des Knotens im Bereich spec.nodes der Spezifikation NodePool hinzu oder entfernen Sie sie.
• Knotenpool der Steuerungsebene: Fügen Sie die IP-Adresse des Knotens im Bereich spec.controlPlane.nodePoolSpec.nodes der Spezifikation Cluster hinzu oder entfernen Sie sie.
• Load-Balancer-Knotenpool: Fügen Sie die IP-Adresse des Knotens im Bereich spec.loadBalancer.nodePoolSpec.nodes der Spezifikation Cluster hinzu oder entfernen Sie sie.

Beispiel: Worker-Knoten entfernen

Hier sehen Sie ein Beispiel für eine Cluster-Konfigurationsdatei, die die Spezifikationen von zwei Worker-Knoten zeigt:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: nodepool1
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  nodes:
  - address: 192.0.2.1
  - address: 192.0.2.2

So entfernen Sie einen Knoten:

1. (Optional) Wenn der zu entfernende Knoten kritische Pods ausführt, versetzen Sie den Knoten zuerst in den Wartungsmodus.

   Sie können den Knotenausgleich für Worker-Knoten überwachen, indem Sie die Felder status.nodesDrained und status.nodesDraining für die Ressource NodePool aufrufen.

2. Bearbeiten Sie die Clusterkonfigurationsdatei, um den IP-Adresseintrag für den Knoten zu löschen.

3. Aktualisieren Sie den Cluster:

   bmctl update cluster1 \
       --kubeconfig=ADMIN_KUBECONFIG
   

gcloud-CLI

Mit dem Befehl update können Sie Knoten hinzufügen oder entfernen. Der verwendete update-Befehl und das Flag, in dem Sie die IP-Adresse angeben, hängen vom Typ des Knotenpools ab, den Sie aktualisieren möchten:

• Worker-Knotenpool: Führen Sie gcloud container bare-metal node-pools update aus und geben Sie die IP-Adresse im Flag --node-configs 'node-ip=IP_ADDRESS' an.

• Knotenpool der Steuerungsebene in einem Administratorcluster: Führen Sie gcloud container bare-metal admin-clusters update aus und geben Sie die IP-Adresse im Flag --control-plane-node-configs 'node-ip=IP_ADDRESS' an.

• Knotenpool der Steuerungsebene in einem Nutzercluster: Führen Sie gcloud container bare-metal clusters update aus und geben Sie die IP-Adresse im Flag --control-plane-node-configs 'node-ip=IP_ADDRESS' an.

• Load-Balancer-Knotenpool: Führen Sie gcloud container bare-metal clusters update aus und geben Sie die IP-Adresse im Flag --metal-lb-load-balancer-node-configs 'node-ip=IP_ADDRESS' oder
  --bgp-load-balancer-node-configs 'node-ip=IP_ADDRESS' an.

Das Flag, in dem Sie die IP-Adresse angeben, akzeptiert nur ein node-ip. Sie fügen das Flag für jede IP-Adresse in den Knotenpool ein.

Die Befehle update ersetzen alle IP-Adressen durch die von Ihnen angegebenen IP-Adressen. Wenn Sie einen Knoten hinzufügen möchten, fügen Sie in den Befehl update die IP-Adressen der vorhandenen Knoten und die IP-Adresse des neuen Knotens ein. Ebenso entfernen Sie Knoten, indem Sie nur die IP-Adressen der Knoten einschließen, die Sie behalten möchten.

Beispiel: Worker-Knoten entfernen

In diesem Abschnitt wird gezeigt, wie Sie einen Worker-Knoten mithilfe von Beispieldaten aus einem Knotenpool entfernen. In den folgenden Schritten sind zusätzliche Befehle der gcloud CLI enthalten, die für Sie nützlich sein könnten.

1. (Optional) Wenn der zu entfernende Knoten kritische Pods ausführt, versetzen Sie den Knoten zuerst in den Wartungsmodus.

   Sie können den Knotenausgleich für Worker-Knoten überwachen, indem Sie die Felder status.nodesDrained und status.nodesDraining für die Ressource NodePool aufrufen.

2. Führen Sie den Befehl list aus, um alle Knotenpools im Cluster aufzulisten:

   gcloud container bare-metal node-pools list \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   Die Ausgabe sieht in etwa so aus:

   NAME         LOCATION     STATE
   node-pool-1  us-central1  RUNNING
   node-pool-2  asia-east1   RUNNING
   

3. Führen Sie den Befehl describe aus, um alle IP-Adressen im Knotenpool aufzulisten:

   gcloud container bare-metal node-pools describe node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   Die folgende Beispielausgabe ist zur besseren Lesbarkeit gekürzt:

   annotations:
     ...
     baremetal.cluster.gke.io/version: 1.30
   ...
   name: projects/example-project-12345/locations/us-central1/bareMetalClusters/abm-user-cluster1/bareMetalNodePools/node-pool-1
   nodePoolConfig:
     nodeConfigs:
     - nodeIp: 192.0.2.1
     - nodeIp: 192.0.2.2
     operatingSystem: LINUX
   state: RUNNING
   ...
   

   Beachten Sie in der Beispielausgabe Folgendes:

   • Das Feld name enthält den vollständig qualifizierten Namen des Knotenpools. Wenn Sie den Namen des Knotenpools in einem Befehl angeben, können Sie entweder den vollständig qualifizierten Namen oder den Namen des Knotenpools angeben, z. B. node-pool-1, zusammen mit --cluster, --project und die Flags --location.

   • Der Abschnitt nodeConfigs enthält zwei nodeIp-Felder mit den IP-Adressen der Knoten.

4. Führen Sie den folgenden Befehl aus, um den Knoten mit der IP-Adresse 192.0.2.1 zu entfernen:

   gcloud container bare-metal node-pools update node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1 \
       --node-configs='node-ip=192.0.2.2'
   

   Mit dem Befehl update werden alle IP-Adressen durch die von Ihnen angegebenen IP-Adressen ersetzt. Da 192.0.2.1 nicht enthalten ist, wird der Knoten entfernt.

   Die Ausgabe dieses Befehls sieht in etwa so aus:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9] to complete
   

   In der Beispielausgabe ist der String operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 der OPERATION_ID des Vorgangs mit langer Ausführungszeit. Sie können den Status des Vorgangs ermitteln, indem Sie den folgenden Befehl in einem anderen Terminalfenster ausführen:

   gcloud container bare-metal operations describe operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 \
       --project= example-project-12345 \
       --location=us-central1
   

   Sie können den Befehl jedes Mal noch einmal ausführen, um den Status zu prüfen.

bmctl

Sie können bmctl verwenden, um Knoten der Steuerungsebene mit Hochverfügbarkeit in allen Clustertypen zu ersetzen.

Führen Sie die folgenden Schritte aus, um einen Knoten in einem Cluster zu ersetzen:

1. Entfernen Sie die IP-Adresse des Knotens aus der Clusterkonfigurationsdatei.
2. Aktualisieren Sie den Cluster.
3. Prüfen Sie den Status der Knoten im Cluster.
4. Fügen Sie der gleichen Clusterkonfigurationsdatei die IP-Adresse eines neuen Knotens hinzu.
5. Aktualisieren Sie den Cluster.

Beispiel: Knoten der HA-Steuerungsebene ersetzen

Hier sehen Sie eine Beispiel-Cluster-Konfigurationsdatei, die drei Knoten der Steuerungsebene in einem Nutzercluster zeigt:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: user-cluster
namespace: cluster-user-cluster
spec:
  controlPlane:
  nodePoolSpec:
    nodes:
    - address: 192.0.2.11
    - address: 192.0.2.12
    - address: 192.0.2.13

Führen Sie die folgenden Schritte aus, um den letzten im Abschnitt spec.controlPlane.nodePoolSpec.nodes aufgeführten Knoten zu ersetzen:

1. Entfernen Sie den Knoten, indem Sie seinen IP-Adresseintrag in der Clusterkonfigurationsdatei löschen. Nach dieser Änderung sollte die Clusterkonfigurationsdatei in etwa so aussehen:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
   

2. Aktualisieren Sie den Cluster mit folgendem Befehl:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

   Nehmen Sie die folgenden Änderungen vor:

   • Ersetzen Sie CLUSTER_NAME durch den Namen des Clusters, den Sie aktualisieren möchten.
   • Wenn der Cluster ein selbstverwalteter Cluster ist (z. B. ein Administrator- oder eigenständiger Cluster), ersetzen Sie KUBECONFIG durch den Pfad zur kubeconfig-Datei des Clusters. Wenn der Cluster ein Nutzercluster ist, wie in diesem Beispiel, ersetzen Sie KUBECONFIG durch den Pfad zur kubeconfig-Datei des admin.

3. Nachdem der Befehl bmctl update erfolgreich ausgeführt wurde, dauert es einige Zeit, bis die Jobs machine-preflight und machine-init abgeschlossen sind. Sie können den Status von Knoten und den zugehörigen Knotenpools anzeigen lassen. Führen Sie dazu die im Abschnitt Updates überprüfen in diesem Dokument beschriebenen Befehle aus. Sobald der Knotenpool und die Knoten bereit sind, können Sie mit dem nächsten Schritt fortfahren.

4. Fügen Sie dem Knotenpool einen neuen Knoten für die Steuerungsebene hinzu. Fügen Sie dazu die IP-Adresse des neuen Knotens der Steuerungsebene dem Abschnitt spec.controlPlane.nodePoolSpec.nodes der Clusterkonfigurationsdatei hinzu. Nach dieser Änderung sollte die Clusterkonfigurationsdatei in etwa so aussehen:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
       - address: 192.0.2.14
   

5. Aktualisieren Sie den Cluster mit folgendem Befehl:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

gcloud-CLI

Sie können die gcloud CLI verwenden, um Knoten der Hochverfügbarkeit (HA) in Administrator- und Nutzerclustern zu ersetzen.

Führen Sie die folgenden Schritte aus, um einen Knoten in einem Cluster zu ersetzen:

1. Entfernen Sie die IP-Adresse des Knotens mit dem entsprechenden Befehl update:

   • Nutzercluster: gcloud container bare-metal clusters update
   • Administratorcluster: gcloud container bare-metal admin-clusters update

2. Prüfen Sie den Status des Entfernens eines Knotens aus dem Cluster, indem Sie gcloud container bare-metal operations describe OPERATION_ID ausführen.

3. Fügen Sie die IP-Adresse des neuen Knotens hinzu, indem Sie den entsprechenden update-Befehl ausführen.

Beispiel: Knoten der HA-Steuerungsebene ersetzen

In diesem Abschnitt wird gezeigt, wie Sie eine Steuerungsebene aus einem Cluster mithilfe von Beispieldaten ersetzen. In den folgenden Schritten sind zusätzliche Befehle der gcloud CLI enthalten, die für Sie nützlich sein könnten.

1. Führen Sie den Befehl list aus, um alle Nutzercluster in einem Google Cloud-Projekt aufzulisten:

   gcloud container bare-metal clusters list \
       --project=example-project-12345 \
       --location=-
   

   Wenn Sie --location=- festlegen, bedeutet dies, dass alle Cluster in allen Regionen aufgelistet werden. Wenn Sie die Liste einschränken müssen, legen Sie für --location eine bestimmte Region fest.

   Die Ausgabe sieht in etwa so aus:

   NAME                 LOCATION      VERSION   ADMIN_CLUSTER        STATE
   abm-user-cluster1a   us-central1   1.30      abm-admin-cluster1   RUNNING
   abm-user-cluster1b   europe-west1  1.30      abm-admin-cluster1   RUNNING
   

2. Führen Sie den Befehl describe im Cluster aus:

   gcloud container bare-metal clusters describe abm-user-cluster1  \
       --project=example-project-12345 \
       --location=us-central1
   

   Die Beispielausgabe ist zur besseren Lesbarkeit gekürzt:

   ...
   controlPlane:
     controlPlaneNodePoolConfig:
       nodePoolConfig:
         nodeConfigs:
         - nodeIp: 192.0.2.11
         - nodeIp: 192.0.2.12
         - nodeIp: 192.0.2.13
         operatingSystem: LINUX
   ...
   name: projects/example-project-1234567/locations/us-central1/bareMetalClusters/abm-user-cluster1a
   ...
   

   Beachten Sie in der Beispielausgabe Folgendes:

   • Das Feld name enthält den vollständig qualifizierten Namen des Clusters. Wenn Sie den Clusternamen in einem Befehl angeben, können Sie entweder den voll qualifizierten Namen oder den Clusternamen angeben, z. B. abm-user-cluster1a, zusammen mit --project und der --location flags

   • Der Abschnitt nodeConfigs enthält drei nodeIp-Felder mit den IP-Adressen der Knoten der Steuerungsebene.

3. Entfernen Sie den Knoten mit der IP-Adresse 192.0.2.13:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
   

   Die Ausgabe dieses Befehls sieht in etwa so aus:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1956154681749-6078d9def4030-76686d6e-9fcb1d7] to complete
   

   In der Beispielausgabe ist der String operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 der OPERATION_ID des Vorgangs mit langer Ausführungszeit. Sie können den Status des Vorgangs ermitteln, indem Sie den folgenden Befehl in einem anderen Terminalfenster ausführen:

   gcloud container bare-metal operations describe operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 \
       --project= example-project-12345 \
       --location=us-central1
   

   Sie können den Befehl jedes Mal noch einmal ausführen, um den Status zu prüfen.

4. Fügen Sie den neuen Knoten mit der IP-Adresse 192.0.2.14 hinzu:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
       --control-plane-node-configs 'node-ip=192.0.2.14'
   

kubectl

Mit dem Befehl kubectl get können Sie den Status von Knoten und den zugehörigen Knotenpools anzeigen lassen.

Der folgende Befehl zeigt beispielsweise den Status der Knotenpools im Cluster-Namespace cluster-my-cluster an:

kubectl -n cluster-my-cluster get nodepools.baremetal.cluster.gke.io

Das System gibt Ergebnisse ähnlich der folgenden:

NAME                    READY   RECONCILING   STALLED   UNDERMAINTENANCE   UNKNOWN
cluster-my-cluster      3       0             0         0                  0
cluster-my-cluster-lb   2       0             0         0                  0
np1                     3       0             0         0                  0

Reconciling=1 bedeutet, dass der Abgleichschritt noch läuft. Sie sollten warten, bis sich der Status zu Reconciling=0 ändert.

Sie können auch den Status von Knoten in einem Cluster prüfen, indem Sie den folgenden Befehl ausführen:

kubectl get nodes --kubeconfig=KUBECONFIG

gcloud-CLI

Wie bereits beschrieben, können Sie nach dem Ausführen eines update-Befehls den Status des Vorgangs mit gcloud container bare-metal operations describe OPERATIONS_ID prüfen. Die Ausgabe des Befehls enthält den Status der Knoten. Beispiel:

  ...
  metrics:
  - intValue: '1'
    metric: NODES_RECONCILING
  - intValue: '2'
    metric: NODES_HEALTHY
  - intValue: '0'
    metric: NODES_FAILED
  - intValue: '0'
    metric: NODES_IN_MAINTENANCE
  - intValue: '3'
    metric: NODES_TOTAL
  stage: HEALTH_CHECK
...

Unabhängig davon, welches Tool Sie zum Aktualisieren eines Knotenpools verwenden, können Sie den aktuellen Status eines Knotenpools durch Ausführen des entsprechenden describe-Befehls wie zuvor abrufen.

bmctl

Der Abschnitt addressPools enthält Felder zum Angeben von Load-Balancing-Pools für die gebündelten Load-Balancer MetalLB und Border Gateway Protocol (BGP). Sie können jederzeit weitere Load-Balancing-Adresspools hinzufügen, aber keine vorhandenen Adresspools entfernen. Ab Google Distributed Cloud-Version 1.16.0 können Sie die Werte für addressPools.avoidBuggyIPs und addressPools.manualAssign jederzeit ändern.

addressPools:
- name: pool1
  addresses:
  - 198.51.100.0-198.51.100.4
  - 198.51.100.240/28
- name: pool2
  addresses:
  - 198.51.100.224/28

gcloud-CLI

Sie können für die gebündelten Load-Balancer jederzeit weitere Load-Balancing-Adresspools hinzufügen, aber keine vorhandenen Adresspools entfernen. Das Flag, das Sie in gcloud container bare-metal clusters update zum Hinzufügen eines Adresspools angeben, hängt vom Typ des gebündelten Load-Balancers ab:

• MetalLB (Ebene 2): Verwenden Sie das Flag --metal-lb-address-pools.
• Border Gateway Protocol (BGP): Verwenden Sie das Flag --bgp-address-pools.

Der Wert für die Flags hat folgendes Format:

'pool=NAME,avoid-buggy-ips=True|False,manual-assign=True|False,addresses=IP_ADDRESS_RANGE_1;IP_ADDRESS_RANGE_2;...' \

Der Wert enthält Segmente, die mit den Keywords pool, avoid-buggy-ip, manual-assign und addresses beginnen. Trennen Sie die einzelnen Segmente durch ein Komma.

• pool: Ein Name Ihrer Wahl für den Pool.

• avoid-buggy-ips: Wenn Sie diesen Wert auf True setzen, weist der IPAM-Controller (IP Address Management) Diensten keine IP-Adressen zu, die auf .0 oder .255 enden. Dadurch wird verhindert, dass fehlerhafte Geräte versehentlich Traffic löschen, der an diese speziellen IP-Adressen gesendet wird. Enthält standardmäßig den Wert False, wenn nichts anderes angegeben ist. Ab der Google Distributed Cloud-Version 1.16.0 können Sie diesen Wert in einem vorhandenen Adresspool ändern.

• manual-assign: Wenn der IPAM-Controller IP-Adressen aus diesem Pool nicht automatisch Services zuweisen soll, legen Sie für dieses Feld True fest. Anschließend können Entwickler einen Service vom Typ LoadBalancer erstellen und eine der Adressen manuell aus dem Pool angeben. Wenn keine Angabe erfolgt, wird manual-assign auf False gesetzt. Ab Google Distributed Cloud-Version 1.16.0 können Sie diesen Wert in einem vorhandenen Adresspool ändern.

• In der Liste der addresses: Jede Adresse muss ein Bereich sein, entweder im Format CIDR oder Bereich mit Bindestrich. Verwenden Sie /32 in CIDR-Notation (z. B. 192.0.2.1/32), um eine einzelne IP-Adresse in einem Pool anzugeben (z. B. für die Ingress-VIP).

Beachten Sie die folgenden Syntaxregeln:

• Schließen Sie den gesamten Wert in einfache Anführungszeichen ein.
• Leerzeichen sind nicht zulässig.
• Trennen Sie die einzelnen IP-Adressbereiche durch ein Semikolon.

Sie können mehr als eine Instanz des Flags angeben, wie im folgenden Beispiel gezeigt:

--metal-lb-address-pools='pool=pool2,avoid-buggy-ips=False,manual-assign=True,addresses=198.51.100.0/30;198.51.100.64-198.51.100.72'
--metal-lb-address-pools='pool=pool3,avoid-buggy-ips=True,manual-assign=True,addresses=203.0.113.0/28'

bmctl

Wenn Sie der Clusterkonfigurationsdatei die Annotation baremetal.cluster.gke.io/prevent-deletion: "true" hinzufügen, wird der Cluster nicht gelöscht. Beispiel: Wenn Sie kubectl delete cluster oder bmctl reset cluster ausführen, wird ein Fehler erzeugt.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: ci-10c3c6f4d9c698e
  namespace: cluster-ci-10c3c6f4d9c698e
  annotations:
    baremetal.cluster.gke.io/prevent-deletion: "true"
spec:
  clusterNetwork:

gcloud-CLI

Wenn Sie das Flag --add-annotations mit dem Wert baremetal.cluster.gke.io/prevent-deletion="true" angeben, kann der Cluster nicht gelöscht werden. Beispiele:

1. Fügen Sie die Annotation hinzu, um ein versehentliches Löschen des Clusters zu verhindern:

   gcloud container bare-metal clusters update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --add-annotations=baremetal.cluster.gke.io/prevent-deletion="true"
   

2. Versuchen Sie, den Nutzercluster zu löschen:

   gcloud container bare-metal clusters delete abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --force \
       --allow-missing
   

   Die Antwort des Befehls sieht in etwa so aus:

   ERROR: (gcloud.container.bare-metal.clusters.delete) INVALID_ARGUMENT:
   invalid request: admission webhook "vcluster.kb.io" denied the request:
   annotations[baremetal.cluster.gke.io/prevent-deletion]: Invalid value:
   "true": Annotation "baremetal.cluster.gke.io/prevent-deletion" should be
   removed in order to delete this cluster
   

   Zum Entfernen der Annotation geben Sie --remove-annotations=baremetal.cluster.gke.io/prevent-deletion="true" im Befehl update an.

bmctl

Sie können einen Nutzer oder ein Dienstkonto als Clusteradministrator für einen Nutzercluster hinzufügen oder entfernen. Geben Sie dazu E-Mail-Adressen im Abschnitt clusterSecurity.authorization.clusterAdmin.gcpAccounts der Cluster-Konfigurationsdatei an. Den Konten wird die Rolle "cluster-admin" für den Cluster zugewiesen, die vollständigen Zugriff auf den Cluster ermöglicht.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterSecurity:
    authorization:
      clusterAdmin:
        gcpAccounts:
        - alex@example.com
        - hao@example.com
        - my-sa@example-project-12345.iam.gserviceaccount.com

Wenn Sie einen Nutzercluster aktualisieren, um ein Konto hinzuzufügen, müssen Sie alle Konten in der Liste aufnehmen (sowohl vorhandene als auch neue Konten), da bmctl update die Liste mit dem überschreibt, was Sie in der Konfigurationsdatei angeben. Wenn Sie ein Konto entfernen möchten, entfernen Sie es aus der Clusterkonfigurationsdatei und führen Sie bmctl update aus.

gcloud-CLI

Sie können einen Nutzer oder ein Dienstkonto als Clusteradministrator hinzufügen oder entfernen. Dazu geben Sie im Flag --admin-users eine E-Mail-Adresse an. Das Flag akzeptiert nur eine E-Mail-Adresse. Wenn Sie mehrere Nutzer hinzufügen möchten, geben Sie in jedem Flag ein Konto an. Beispiel:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --admin-users=alex@example.com \
    --admin-users=hao@example.com
    --admin-users=my-sa@example-project-12345.iam.gserviceaccount.com

Der Befehl update überschreibt die gesamte Berechtigungsliste. Geben Sie alle vorhandenen und neuen Nutzer an, die Clusteradministratoren sein sollen.

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    baremetal.cluster.gke.io/private-mode: "true"
spec:
  nodeAccess:
    loginUser: abm

gcloud-CLI

Mit dem Flag --login-user geben Sie den Nutzer an, den Sie für den Zugriff auf Knotenmaschinen verwenden möchten. Beispiel:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --login-user=abm

bmctl

Legen Sie clusterNetwork.advancedNetworking in der Clusterkonfiguration auf true fest, wenn Sie den Cluster erstellen:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterNetwork:
    ...
    advancedNetworking: true
    ...

gcloud-CLI

Fügen Sie beim Erstellen des Clusters in den Befehl gcloud container bare-metal clusters create das Flag --enable-advanced-networking ein.

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  ...
  clusterNetwork:
    services:
      cidrBlocks:
        - 192.0.2.0/14
  ...

gcloud-CLI

Geben Sie den neuen Bereich im Flag --island-mode-service-address-cidr-blocks an, um den Bereich des IPv4-Dienst-CIDR in einem Nutzercluster zu erhöhen.

gcloud container bare-metal clusters update cluster1 \
    --project=example-project-12345 \
    --location=us-central1 \
    --island-mode-service-address-cidr-blocks=192.0.2.0/14

bmctl

Die folgenden unterstützten Felder steuern Container Registry-Pull-Vorgänge für kubelet:

• registryBurst (Standardeinstellung: 10)
• registryPullQPS (Standardeinstellung: 5)
• serializeImagePulls (Standardeinstellung: true)

Weitere Informationen zu den einzelnen Konfigurationsfeldern von Kubelet finden Sie in der Referenz zu den Clusterkonfigurationsfeldern.

Sie können diese Felder in den Abschnitten kubeletConfig der Clusterspezifikation und der NodePool-Spezifikation für die folgenden Knotenpools angeben:

• Clusterspezifikation:
• Knoten der Steuerungsebene spec.controlPlane.nodePoolSpec.kubeletConfig
• Load-Balancer-Knoten spec.loadBalancer.nodePoolSpec.kubeletConfig
• Knotenpool-Spezifikation:
• Worker-Knoten spec.kubeletConfig

Das folgende Beispiel zeigt die hinzugefügten Felder mit ihren Standardwerten in der Cluster-Konfigurationsdatei. Die Annotation preview.baremetal.cluster.gke.io/custom-kubelet: "enable" ist erforderlich.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    preview.baremetal.cluster.gke.io/custom-kubelet: "enable"
spec:
  ...
  controlPlane:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
  loadBalancer:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: node-pool-new
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  ...
  kubeletConfig:
    registryBurst: 10
    registryPullQPS: 5
    serializeImagePulls: true

In jedem Fall gilt die Einstellung für alle Knoten im Pool.

gcloud-CLI

Die folgenden Flags steuern Container Registry-Pull-Vorgänge für kubelet:

• Knoten der Steuerungsebene

  • --control-plane-registry-burst
  • --control-plane-registry-pull-qps
  • --disable-control-plane-serialize-image-pulls
  • --enable-control-plane-serialize-image-pulls

• Load-Balancer-Knoten

  • --bgp-load-balancer-registry-burst
  • --bgp-load-balancer-registry-pull-qps
  • --disable-bgp-load-balancer-serialize-image-pulls
  • --enable-bgp-load-balancer-serialize-image-pulls
  • --metal-lb-load-balancer-registry-burst
  • --metal-lb-load-balancer-registry-pull-qps
  • --disable-metal-lb-load-balancer-serialize-image-pull
  • --enable-metal-lb-load-balancer-serialize-image-pulls

• Worker-Knoten

  • --registry-burst
  • --registry-pull-qps
  • --disable-serialize-image-pulls
  • --enable-serialize-image-pulls

bmctl

• bmctl-Befehlsreferenz

• Feldreferenz für Clusterkonfiguration

gcloud-CLI

• gcloud container bare-metal clusters

• gcloud container bare-metal node-pools

• gcloud container bare-metal admin-clusters

Terraform

• google_gkeonprem_bare_metal_cluster

• google_gkeonprem_bare_metal_node_pool

• google_gkeonprem_bare_metal_admin_cluster