CLI gcsfuse

Cette page décrit les commandes de la ligne de commande gcsfuse permettant d'interagir avec Cloud Storage FUSE.

Synopsis

gcsfuse GLOBAL_OPTIONS BUCKET_NAME MOUNT_POINT

Où :

  • GLOBAL_OPTIONS correspond aux options qui contrôlent la configuration de l'installation et le comportement de Cloud Storage FUSE.

  • BUCKET_NAME est le nom du bucket à installer. Par exemple, my-mount-bucket. Facultatif. Excluez un nom de bucket de cette commande pour effectuer un montage dynamique.

  • MOUNT_POINT correspond au répertoire local dans lequel le bucket sera installé. Par exemple, /path/to/mount/point.

Description

La CLI gcsfuse permet d'installer des buckets Cloud Storage en tant que systèmes de fichiers sur une machine locale.

Options globales

Options globales Description
--anonymous-access BOOLEAN Désactive l'authentification pour les requêtes. Cette option doit être définie si vous utilisez un point de terminaison personnalisé qui n'est pas compatible avec l'authentification. Cette option doit également être définie si vous utilisez Cloud Storage FUSE avec des buckets publics. La valeur par défaut est false.
--app-name VALUE Nom de l'application de l'installation.
--billing-project VALUE Spécifie un projet à utiliser pour la facturation lorsque le bucket monté est accessible. Cette option est souvent requise lors de l'installation d'un bucket activé à l'aide des Paiements par le demandeur. Le projet par défaut est "Aucun".
--cache-dir VALUE Spécifie le répertoire où stocker les données du cache de fichiers.

Remarque: Pour activer le mise en cache des fichiers, vous devez spécifier un répertoire à l'aide de --cache-dir et utiliser l'indicateur --file-cache-max-size-mb pour spécifier un entier positif qui indique une limite de taille de cache de fichier maximale spécifique en mébioctets (Mo) ou utiliser une valeur de -1 pour spécifier aucune limite.
--client-protocol VALUE Spécifie le protocole utilisé pour communiquer avec le backend Cloud Storage. La valeur doit être http1 pour HTTP/1.1 ou http2 pour HTTP/2. La valeur par défaut est http1.
--config-file VALUE Spécifie le chemin d'accès au fichier de configuration que vous souhaitez utiliser pour configurer les comportements de Cloud Storage FUSE. Par exemple, --config-file /etc/gcsfuse.yaml.
--custom-endpoint VALUE Spécifie un autre point de terminaison personnalisé permettant d'extraire des données. Le point de terminaison personnalisé doit accepter les ressources et les opérations équivalentes au point de terminaison JSON Cloud Storage, https://storage.googleapis.com/storage/v1. Si aucun point de terminaison personnalisé n'est spécifié, Cloud Storage FUSE utilise le point de terminaison global de l'API JSON Cloud Storage, https://storage.googleapis.com/storage/v1. Si l'authentification n'est pas disponible sur le point de terminaison personnalisé que vous spécifiez, définissez l'option --anonymous-access sur true pour contourner l'authentification.
--debug_fuse BOOLEAN Obsolète. Active la sortie de débogage liée à FUSE. Cette option a été remplacée par l'option --log-severity. Pour activer la sortie de débogage, définissez l'option --log-severity sur trace, ce qui inclut les journaux de trace, de débogage, d'informations, d'avertissement et d'erreur.
--debug_gcs BOOLEAN Obsolète. Imprime des informations sur la requête et la chronologie Cloud Storage. Cette option a été remplacée par l'option --log-severity. Pour activer la sortie de débogage, définissez l'option --log-severity sur trace, ce qui inclut les journaux de trace, de débogage, d'informations, d'avertissement et d'erreur.
--debug_invariants BOOLEAN Quitte le programme lorsque des infractions aux invariants internes sont détectées. La valeur par défaut est false.
--debug_mutex BOOLEAN Affiche des messages de débogage lorsqu'un mutex est conservé trop longtemps. Si cette option est spécifiée, le niveau de gravité des journaux est automatiquement défini sur trace, ce qui inclut les journaux trace, de débogage, d'informations, d'avertissement et d'erreurs. La valeur par défaut est false.
--dir-mode VALUE Bits d'autorisation pour les répertoires, en octal. La valeur minimale est 000 et la valeur maximale est 777. La valeur par défaut est 755.
--enable-nonexistent-type-cache BOOLEAN Crée une entrée de cache de types NonexistentType si un fichier est introuvable dans Cloud Storage. Si le fichier est créé dans Cloud Storage, mais que l'entrée NonexistentType du fichier est mise en cache, Cloud Storage FUSE ne peut pas demander ce fichier tant que l'entrée NonexistentType n'est pas supprimée du cache du type. La valeur par défaut est false.
--file-cache-cache-file-for-range-read BOOLEAN

Détermine si l'objet complet doit être téléchargé de manière asynchrone et stocké dans le répertoire de cache Cloud Storage FUSE lorsque la première lecture est effectuée à partir d'un décalage différent de zéro. Cette option doit être définie sur true si vous prévoyez d'effectuer plusieurs lectures aléatoires ou partielles. Si ce champ n'est pas spécifié, la valeur par défaut est false.

Remarque: Si vous effectuez une lecture partielle commençant au décalage 0, Cloud Storage FUSE télécharge et met en cache l'objet complet de manière asynchrone.
--file-cache-download-chunk-size-mb VALUE

Spécifie la taille en Mio de chaque requête de lecture que chaque goroutine envoie à Cloud Storage lors du téléchargement de l'objet dans le cache de fichiers. La valeur par défaut est 50.
--file-cache-enable-parallel-downloads BOOLEAN

Accélère les lectures de fichiers volumineux en utilisant le répertoire de cache de fichiers comme tampon de préchargement utilisant plusieurs nœuds de calcul afin de télécharger des fichiers volumineux en parallèle. La valeur par défaut est false.


Pour utiliser les téléchargements parallèles, vous devez activer la mise en cache de fichiers. Pour en savoir plus sur les téléchargements parallèles et configurer les propriétés de compatibilité, consultez la page Améliorer les performances de lecture en utilisant les téléchargements parallèles.
--file-cache-max-parallel-downloads VALUE

Nombre maximal de goroutines pouvant être lancées à un même moment pour tous les jobs de téléchargement de fichiers. La valeur par défaut est le double du nombre de cœurs de processeur de votre machine ou 16, la valeur la plus élevée étant retenue. Pour spécifier qu'il n'y a pas de limite, saisissez la valeur -1.
--file-mode VALUE Spécifie les bits d'autorisation pour les fichiers, en octal. La valeur minimale est 000 et la valeur maximale est 777. La valeur par défaut est 644.
--foreground BOOLEAN Il exécute la commande gcsfuse au premier plan. La valeur par défaut est false.
--gid VALUE Spécifie le propriétaire de l'identifiant de groupe (GID) de tous les inodes. La valeur doit être un entier. La valeur par défaut est -1.
--help ou -h Affiche de l'aide sur Cloud Storage FUSE.
version ou -v Affiche la version de Cloud Storage FUSE que vous avez installée.
--http-client-timeout VALUE Spécifie la durée pendant laquelle le client HTTP Cloud Storage FUSE peut attendre d'obtenir une réponse du serveur avant d'expirer. La valeur doit être une durée. Par exemple, 1h10m10s. La valeur par défaut est 0s, ce qui indique l'absence de délai d'expiration.
--ignore-interrupts VALUE Indique à Cloud Storage FUSE d'ignorer les signaux d'interruption système, tels que les signaux SIGINT déclenchés par Control+C. Cela empêche les signaux d'arrêter les opérations en cours. Les valeurs sont true ou false. La valeur par défaut est true.
--implicit-dirs BOOLEAN

Inclut implicitement les dossiers et les dossiers gérés.

Pour en savoir plus, consultez la documentation sur les fichiers et les répertoires dans GitHub. La valeur par défaut est false.
--kernel-list-cache-ttl-secs VALUE Active le cache de liste et définit la valeur TTL (Time To Live) en secondes des entrées de liste mises en cache. Le cache de listes est conservé en mémoire dans le cache de pages, qui est contrôlé par le noyau en fonction de la mémoire disponible. La valeur par défaut est 0, ce qui désactive la mise en cache des listes.

Pour définir l'option --kernel-list-cache-ttl-secs, spécifiez une valeur entière positive en secondes afin de conserver la réponse de la liste d'annuaires dans le cache de page du noyau. Pour contourner l'expiration de l'entrée et toujours renvoyer la réponse de la liste à partir du cache lorsqu'elle est disponible, spécifiez la valeur -1.
--key-file VALUE Spécifie un chemin d'accès absolu au fichier de clé JSON des identifiants pour authentifier les requêtes à Cloud Storage. Par défaut, Cloud Storage FUSE utilise les Identifiants par défaut de l'application pour authentifier les requêtes.
--limit-bytes-per-sec VALUE Spécifie la limite de bande passante à laquelle Cloud Storage FUSE peut lire des données depuis Cloud Storage, mesurée sur une période de 30 secondes. La valeur doit être un nombre à virgule flottante. La valeur par défaut est -1, qui ne spécifie aucune limite.
--limit-ops-per-sec VALUE Spécifie une limite relative aux opérations effectuées par seconde, mesurée sur une période de 30 secondes. La valeur doit être un nombre à virgule flottante. La valeur par défaut est -1, qui ne spécifie aucune limite.
--log-file VALUE Spécifie le fichier destiné au stockage des journaux, pouvant être analysé par Fluentd. Lorsque cette valeur n'est pas fournie, les journaux en texte brut sont affichés dans stdout lorsque Cloud Storage FUSE est exécuté au premier plan ou dans syslog lorsque Cloud Storage FUSE est exécuté en arrière-plan.
--log-format VALUE Spécifie le format du fichier journal. La valeur doit être text ou json. La valeur par défaut est json.
--log-rotate-backup-file-count VALUE Nombre maximal de fichiers journaux alternés à conserver, à l'exclusion du fichier actif dans lequel les journaux sont écrits. Lorsque la valeur est définie sur 0, tous les fichiers journaux alternés sont conservés. Si ce champ n'est pas spécifié, la valeur par défaut est 10.
--log-rotate-compress BOOLEAN Valeur booléenne qui indique si les fichiers journaux alternés sont compressés à l'aide de gzip. Si cet indicateur n'est pas spécifié, la valeur par défaut est true.
--log-rotate-max-file-size-mb VALUE Taille maximale en mégaoctets (Mo) que les fichiers journaux peuvent atteindre avant d'être alternés. La valeur minimale est 1. Si ce champ n'est pas spécifié, la valeur par défaut est 512.
--log-severity ENUM

Gravité des journaux que Cloud Storage FUSE doit générer, exprimée sous forme d'énumération. Les niveaux de gravité ci-après sont classés du moins grave au plus grave :

  • trace
  • debug
  • info
  • warning
  • error

Lorsque vous spécifiez un niveau de gravité, Cloud Storage FUSE génère les journaux présentant une gravité égale à ce niveau, ou supérieure. Par exemple, lorsque vous spécifiez warning, Cloud Storage FUSE génère des journaux pour les avertissements et les erreurs. En règle générale, nous vous recommandons d'utiliser le niveau de gravité info. Vous pouvez également spécifier off pour désactiver toute journalisation. Si vous spécifiez --debug_mutex dans votre commande, le niveau de gravité est automatiquement défini sur trace et remplace log-severity.

Si ce champ n'est pas spécifié, la valeur par défaut est info.

Remarque:L'utilisation des niveaux de gravité trace ou debug lorsque la mise en cache des fichiers est activée peut entraîner une dégradation des performances en raison des frais généraux de journalisation. Elle ne doit être utilisée que temporairement, par exemple lors du dépannage.
--max-conns-per-host VALUE Indique le nombre maximal de connexions TCP autorisées par serveur. Cela devient effectif lorsque --client-protocol est défini sur http1. La valeur doit être comprise entre 0 et 2147483647. La valeur par défaut est 0, ce qui indique qu'il n'y a pas de limite pour les connexions TCP, sauf pour les limites définies par les spécifications de votre machine.
--max-idle-conns-per-host VALUE Indique le nombre maximal de connexions inactives autorisées par serveur. La valeur doit être comprise entre 0 et 2147483647. La valeur par défaut est 100.
--max-retry-sleep VALUE Spécifie la durée maximale pendant laquelle Cloud Storage FUSE est autorisé à se mettre en veille dans une boucle de nouvelle tentative avec un intervalle exponentiel entre les tentatives. La valeur doit être une durée. Par exemple, 1h5m50s (1 heure, 5 minutes et 50 secondes) ou 60s (60 secondes). Une fois que l'intervalle entre les tentatives dépasse la durée maximale spécifiée, la nouvelle tentative se poursuit avec la durée maximale spécifiée. La valeur par défaut est 30s.
--metadata-cache-ttl-secs VALUE

Définit la valeur TTL (Time To Live) en secondes des entrées de métadonnées mises en cache.

  • Pour contourner l'expiration de la valeur TTL et diffuser le fichier à partir du cache chaque fois qu'il est disponible, spécifiez la valeur -1.
  • Pour utiliser le fichier le plus récent, spécifiez la valeur 0. L'utilisation de cette valeur émet un appel de métadonnées Get pour s'assurer que la génération d'objets pour le fichier dans le cache correspond à ce qui est stocké dans Cloud Storage. Pour en savoir plus, consultez Configurer l'invalidation du cache.

Si ce champ n'est pas spécifié, la valeur par défaut est 60 (60 secondes).
-o VALUE

Spécifie des options d'installation supplémentaires spécifiques au système.

La plupart des options d'installation génériques dans FUSE, telles que suid, sont compatibles avec Cloud Storage FUSE et peuvent être transmises avec l'indicateur -o.

Voici quelques options de montage couramment utilisées disponibles avec l'indicateur -o:

  • rw: installation en lecture/écriture.
  • ro: installation en lecture seule.

Pour en savoir plus sur les autres options d'installation compatibles, consultez la documentation Linux FUSE.
--only-dir VALUE Installe uniquement un répertoire spécifique dans un bucket.
--rename-dir-limit VALUE Permet de renommer des répertoires contenant moins de descendants que la limite spécifiée. La valeur doit être comprise entre 0 et 2147483647. La valeur de limite par défaut est 0.
--retry-multiplier VALUE Spécifie le multiplicateur pour l'intervalle exponentiel entre les nouvelles tentatives consécutives. La valeur doit être un nombre à virgule flottante. La valeur par défaut est 2.
--reuse-token-from-url Indique si le jeton acquis à partir de --token-url doit être réutilisé. La valeur par défaut est true.
--sequential-read-size-mb VALUE Spécifie la taille de segment des données à télécharger depuis Cloud Storage, en mégaoctets (Mo). La valeur doit être comprise entre 1 et 1024. La valeur par défaut est 200.
--stackdriver-export-interval VALUE Exporte les métriques vers Stackdriver avec l'intervalle spécifié. La valeur doit être une durée. Par exemple, 1h10m10s. La valeur par défaut est 0s, ce qui indique qu'aucune exportation n'est effectuée.
--stat-cache-capacity VALUE Obsolète. Indique le nombre d'entrées que le cache de statistiques peut contenir. Cela a un impact sur la consommation de mémoire. La valeur doit être un entier. La valeur par défaut est 4096.

Cet indicateur a été remplacé par --stat-cache-max-size-mb. Pour spécifier la taille maximale en mégaoctets (Mo) que le cache de statistiques peut utiliser, utilisez l'indicateur --stat-cache-max-size-mb.
--stat-cache-max-size-mb VALUE

Taille maximale en mébioctets (Mio) que le cache de statistiques peut utiliser. Le cache de statistiques est toujours entièrement conservé en mémoire.

  • Spécifiez une valeur de 32 si votre charge de travail implique jusqu'à 20 000 fichiers. Si votre charge de travail dépasse 20 000 fichiers, augmentez la taille par incréments de 10 pour chaque tranche supplémentaire de 6 000 fichiers, sachant que le cache d'état utilise en moyenne 1 500 Mo par fichier.
  • Pour permettre au cache de statistiques d'utiliser autant de mémoire que nécessaire, c'est-à-dire pour ne définir aucune limite, spécifiez la valeur -1.
  • Pour désactiver le cache de statistiques, spécifiez la valeur 0.

Si ce champ n'est pas spécifié, la valeur par défaut est 32.
--stat-cache-ttl VALUE Obsolète. Spécifie la durée de mise en cache des résultats StatObject et des attributs d'inode. La valeur par défaut est 60s (60 secondes).

Cet indicateur a été remplacé par --metadata-cache-ttl-secs. Pour spécifier la valeur TTL (Time To Live) en secondes des entrées de métadonnées mises en cache, utilisez l'option --metadata-cache-ttl-secs.
--temp-dir VALUE Spécifie un chemin d'accès au répertoire temporaire où les écritures sont stockées en préproduction avant leur importation dans Cloud Storage. La valeur par défaut est votre paramètre système par défaut, probablement /tmp.
--token-url VALUE Spécifie une URL permettant d'obtenir un jeton d'accès lorsque le fichier --key-file est absent.
--type-cache-ttl VALUE Obsolète. Spécifie la durée de mise en cache du mappage entre les noms et les fichiers ou répertoires dans les inodes de répertoire. Cette option a été remplacée par l'option --metadata-cache-ttl-secs. Pour spécifier la durée que vous souhaitez définir pour le cache de types, utilisez l'option --metadata-cache-ttl-secs, qui spécifie la valeur TTL (Time To Live) des entrées de métadonnées des caches de statistiques et de types. La valeur par défaut pour --metadata-cache-ttl-secs est 60s (60 secondes).
--type-cache-max-size-mb VALUE

Taille maximale en Mio par répertoire que le cache de types peut utiliser. Le cache de types est toujours entièrement conservé en mémoire.

  • Spécifiez la valeur 4 si le nombre maximal de fichiers dans un seul répertoire à partir du bucket que vous installez contient 20 000 fichiers ou moins. Si le nombre maximal de fichiers dans un même répertoire que vous installez contient plus de 20 000 fichiers, augmentez la valeur de 1 pour chaque tranche de 5 000 fichiers, soit une moyenne d'environ 200 octets par fichier.
  • Pour permettre au cache de types d'utiliser autant de mémoire que nécessaire, en d'autres termes, pour spécifier qu'il n'y a pas de limite, spécifiez la valeur -1.
  • Pour désactiver le cache de types, spécifiez la valeur 0.

Si ce champ n'est pas spécifié, la valeur par défaut est 4.
--uid VALUE Spécifie le propriétaire de l'identifiant utilisateur (UID) de tous les inodes. La valeur doit être un entier. La valeur par défaut de l'UID est -1.