Connetti da Compute Engine

Questa guida fornisce istruzioni per la creazione di un singolo client Compute Engine e per la connessione all'istanza Parallelstore.

Per creare e connetterti da più client Compute Engine, puoi seguire le istruzioni riportate in Connessione da Compute Engine: più client.

Per ottenere prestazioni migliori, le VM Compute Engine client devono essere create nella stessa zona dell'istanza Parallelstore.

Autorizzazioni obbligatorie

Per creare una VM di Compute Engine, devi disporre del seguente ruolo IAM:

• Amministratore istanze Compute (v1) (roles/compute.instanceAdmin.v1). Per ulteriori informazioni, consulta la documentazione di Compute Engine.

Crea una VM di Compute Engine

Segui le istruzioni per creare una VM di Compute Engine utilizzando una delle seguenti immagini:

• HPC Rocky Linux 8
• Rocky Linux 9 ottimizzato
• Red Hat Enterprise Linux (RHEL) 9
• Ubuntu 22.04
• Debian 12

Puoi scegliere qualsiasi tipo di macchina e disco di avvio. Consigliamo almeno un tipo di macchina c2-standard-4; per prestazioni del client superiori, aumenta il numero di vCPU per aumentare il throughput di rete. Ad esempio, un c3-standard-176 con networking Tier 1 fornisce 200 Gbps di larghezza di banda in uscita.

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --network-interface=stack-type=IPV4_ONLY,subnet=NETWORK_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image=projects/cloud-hpc-image-public/global/images/hpc-rocky-linux-8-v20240126,\
mode=rw,size=100,type=pd-balanced

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --network-interface=stack-type=IPV4_ONLY,subnet=NETWORK_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image=projects/rocky-linux-cloud/global/images/rocky-linux-9-optimized-gcp-v20241112,\
mode=rw,size=100,type=pd-balanced

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --network-interface=stack-type=IPV4_ONLY,subnet=NETWORK_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image=projects/rhel-cloud/global/images/rhel-9-v20241112,\
mode=rw,size=100,type=pd-balanced

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --network-interface=stack-type=IPV4_ONLY,subnet=NETWORK_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image=projects/ubuntu-os-cloud/global/images/ubuntu-2204-jammy-v20240927,\
mode=rw,size=100,type=pd-balanced

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --network-interface=stack-type=IPV4_ONLY,subnet=NETWORK_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image=projects/debian-cloud/global/images/debian-12-bookworm-v20240415,\
mode=rw,size=100,type=pd-balanced

Per ulteriori informazioni sulle opzioni disponibili, consulta la documentazione di Compute Engine.

Accedi tramite SSH alla VM client

gcloud compute firewall-rules create FIREWALL_RULE_NAME \
  --allow=tcp:22 \
  --network=NETWORK_NAME \
  --source-ranges=0.0.0.0/0 \
  --project=PROJECT_ID

gcloud compute ssh VM_NAME --zone=ZONE --project=PROJECT_ID

Installa la libreria client DAOS

La libreria client DAOS fornisce un'interfaccia simile a POSIX al livello di dati Parallelstore. Il software viene eseguito come agente sui computer client e deve essere installato ed eseguito prima di poter accedere ai dati.

Aumenta il limite di file aperti (solo Ubuntu)

Per le VM che eseguono Ubuntu 22.04, devi aumentare il limite di file aperti a 131072 per supportare dfuse e la libreria di intercettazione.

Se scegli di non utilizzare la libreria di intercettazione, puoi eseguire ulimit -n 131072 immediatamente prima di avviare dfuse.

Per aumentare il limite di file aperti da 1024, esegui i seguenti comandi su ogni VM.

sudo tee -a /etc/security/limits.conf <<EOF
* soft nofile 131072
* hard nofile 131072
EOF

Dopodiché, riavvia:

sudo reboot

Esegui di nuovo SSH sulla VM client al termine del riavvio.

Aggiorna la configurazione dell'agente DAOS

Aggiorna /etc/daos/daos_agent.yml come segue:

1. Rimuovi il commento e aggiorna access_points con gli indirizzi IP accessPoints dalle proprietà dell'istanza Parallelstore. Ad esempio: access_points: ['172.21.95.2', '172.21.95.4', '172.21.95.5'].

   Per stampare i punti di accesso nel formato corretto per la copia e l'incollatura, esegui questo comando:

   echo access_points\: $(gcloud beta parallelstore instances describe \
     INSTANCE_ID --location LOCATION --project PROJECT_ID \
     --format "value[delimiter=', '](format("{0}", accessPoints))")
   

2. Rimuovi il commento dalle due righe seguenti. Il rientro è importante, quindi assicurati di mantenere gli spazi davanti a allow_insecure:

   # transport_config:
   #   allow_insecure: false
   

3. Modifica il valore di allow_insecure in true poiché i certificati non sono supportati.

    transport_config:
      allow_insecure: true
   

4. Specifica l'interfaccia di rete che fornisce la connettività all'istanza Parallelstore. L'interfaccia è spesso eth0, ens4 o enp0s3, ma potrebbe essere diversa a seconda della configurazione di rete. Puoi utilizzare il comando route per mostrare il gateway predefinito della VM. L'interfaccia da specificare è in genere quella che condivide una subnet con il gateway.

   Innanzitutto, elenca tutte le interfacce di rete disponibili:

   ip a
   

   L'output è simile al seguente:

   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
       inet 127.0.0.1/8 scope host lo
          valid_lft forever preferred_lft forever
   2: eth0@if7: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1460 qdisc noqueue state UP group default
       link/ether e4:9x:3f:x7:dx:f7 brd ff:ff:ff:ff:ff:ff link-netnsid 0
       inet 10.88.0.3/16 brd 10.88.255.255 scope global eth0
          valid_lft forever preferred_lft forever
   3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1460 qdisc noqueue state DOWN group default
       link/ether 02:4x:6y:1z:84:45 brd ff:ff:ff:ff:ff:ff
       inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
          valid_lft forever preferred_lft forever
   

   Esegui route per visualizzare la tabella di routing:

   route
   

   L'output è simile al seguente:

   Kernel IP routing table
   Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
   default         10.88.0.1       0.0.0.0         UG    0      0        0 eth0
   10.88.0.0       0.0.0.0         255.255.0.0     U     0      0        0 eth0
   172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
   

   Nell'esempio, il gateway predefinito è 10.88.0.1 ed è condiviso da eth0, quindi specifica eth0 come interfaccia da utilizzare.

   Modifica /etc/daos/daos_agent.yml. Rimuovi il commento da include_fabric_ifaces e aggiorna il valore:

   include_fabric_ifaces: ["eth0"]
   

   Salva e chiudi il file.

Avvia l'agente DAOS

sudo systemctl start daos_agent.service

systemctl status daos_agent.service

sudo systemctl start daos_agent.service

systemctl status daos_agent.service

sudo systemctl start daos_agent.service

systemctl status daos_agent.service

sudo mkdir /var/run/daos_agent && \
sudo daos_agent -o /etc/daos/daos_agent.yml &

sudo mkdir /var/run/daos_agent && \
sudo daos_agent -o /etc/daos/daos_agent.yml &

Configura il logging

Se necessario, configura la registrazione locale per facilitare il debug lato client:

export D_LOG_MASK=INFO
export D_LOG_FILE_APPEND_PID=1
rm -f /tmp/client.log.*
export D_LOG_FILE=/tmp/client.log

Monta l'istanza utilizzando dfuse

Monta l'istanza Parallelstore utilizzando dfuse (DAOS FUSE).

1. Modifica /etc/fuse.conf per aggiungere user_allow_other.

2. Specifica l'opzione --multi-user con dfuse:

   mkdir -p /tmp/parallelstore
   dfuse -m /tmp/parallelstore \
     --pool default-pool \
     --container default-container \
     --disable-wb-cache \
     --thread-count=20 \
     --eq-count=10 \
     --multi-user
   

Per informazioni sull'ottimizzazione dei valori di --thread-count e --eq-count, consulta la sezione Conteggio thread e conteggio coda eventi della pagina Considerazioni sul rendimento.

Accedi all'istanza Parallelstore

L'istanza Parallelstore è ora montata sulla VM di Compute Engine nel percorso specificato dal flag -m ed è leggibile/scrivibile utilizzando la sintassi POSIX standard, con alcune eccezioni.

Se esegui df sull'istanza, il valore di SIZE è 1,5 volte il valore specificato con --capacity-gib. La quantità di spazio utilizzabile è ancora --capacity-gib a causa della natura della codifica di cancellazione utilizzata da Parallelstore. Ogni 2 byte scritti utilizza 3 byte dal punto di vista di df.

Smonta l'istanza

L'istanza Parallelstore può essere smontata utilizzando il seguente comando:

sudo umount /tmp/parallelstore/

Passaggi successivi

• Trasferire dati a Parallelstore da Cloud Storage