Index
BatchController
(interface)SessionController
(interface)SessionTemplateController
(interface)AnalyzeOperationMetadata
(message)AnalyzeOperationMetadata.WorkloadType
(enum)AutotuningConfig
(message)AutotuningConfig.Scenario
(enum)Batch
(message)Batch.State
(enum)Batch.StateHistory
(message)BatchOperationMetadata
(message)BatchOperationMetadata.BatchOperationType
(enum)CreateBatchRequest
(message)CreateSessionRequest
(message)CreateSessionTemplateRequest
(message)DeleteBatchRequest
(message)DeleteSessionRequest
(message)DeleteSessionTemplateRequest
(message)DiagnoseClusterResults
(message)EnvironmentConfig
(message)ExecutionConfig
(message)GetBatchRequest
(message)GetSessionRequest
(message)GetSessionTemplateRequest
(message)JupyterConfig
(message)JupyterConfig.Kernel
(enum)ListBatchesRequest
(message)ListBatchesResponse
(message)ListSessionTemplatesRequest
(message)ListSessionTemplatesResponse
(message)ListSessionsRequest
(message)ListSessionsResponse
(message)PeripheralsConfig
(message)PyPiRepositoryConfig
(message)PySparkBatch
(message)RepositoryConfig
(message)RuntimeConfig
(message)RuntimeInfo
(message)Session
(message)Session.SessionStateHistory
(message)Session.State
(enum)SessionOperationMetadata
(message)SessionOperationMetadata.SessionOperationType
(enum)SessionTemplate
(message)SparkBatch
(message)SparkConnectConfig
(message)SparkHistoryServerConfig
(message)SparkRBatch
(message)SparkSqlBatch
(message)TerminateSessionRequest
(message)UpdateSessionTemplateRequest
(message)UsageMetrics
(message)UsageSnapshot
(message)
BatchController
BatchController fournit des méthodes pour gérer les charges de travail par lot.
CreateBatch |
---|
Crée une charge de travail par lots qui s'exécute de manière asynchrone.
|
DeleteBatch |
---|
Supprime la ressource de charge de travail par lot. Si le lot ne se trouve pas dans un
|
GetBatch |
---|
Récupère la représentation de la ressource de charge de travail par lot.
|
ListBatches |
---|
Répertorie les charges de travail par lot.
|
SessionController
SessionController
fournit des méthodes pour gérer les sessions interactives.
CreateSession |
---|
Créez une session interactive de manière asynchrone.
|
DeleteSession |
---|
Supprime la ressource de session interactive. Si la session n'est pas dans un état terminal, elle est arrêtée, puis supprimée.
|
GetSession |
---|
Récupère la représentation de la ressource pour une session interactive.
|
ListSessions |
---|
Liste les sessions interactives.
|
TerminateSession |
---|
Arrête la session interactive.
|
SessionTemplateController
SessionTemplateController fournit des méthodes pour gérer les modèles de session.
CreateSessionTemplate |
---|
Créez un modèle de session de manière synchrone.
|
DeleteSessionTemplate |
---|
Supprime un modèle de session.
|
GetSessionTemplate |
---|
Récupère la représentation de la ressource pour un modèle de session.
|
ListSessionTemplates |
---|
Répertorie les modèles de session.
|
UpdateSessionTemplate |
---|
Met à jour le modèle de session de manière synchrone.
|
AnalyzeOperationMetadata
Métadonnées décrivant l'opération d'analyse.
Champs | |
---|---|
analyzed_ |
Uniquement en sortie. Nom de la charge de travail analysée. |
analyzed_ |
Uniquement en sortie. Type de charge de travail analysée. |
analyzed_ |
Sortie uniquement. Identifiant unique de la charge de travail, généralement généré par le plan de contrôle. Exemple : UUID de lot. |
create_ |
Uniquement en sortie. Heure à laquelle l'opération a été créée. |
done_ |
Uniquement en sortie. Heure à laquelle l'opération s'est terminée. |
description |
Uniquement en sortie. Brève description de l'opération. |
labels |
Uniquement en sortie. Libellés associés à l'opération. |
warnings[] |
Uniquement en sortie. Avertissements rencontrés lors de l'exécution de l'opération. |
WorkloadType
Type de charge de travail
Enums | |
---|---|
WORKLOAD_TYPE_UNSPECIFIED |
Option non définie |
BATCH |
Job par lot sans serveur |
AutotuningConfig
Configuration de l'autotuning de la charge de travail.
Champs | |
---|---|
scenarios[] |
Facultatif. Scénarios pour lesquels des réglages sont appliqués. |
Scénario
Le scénario représente un objectif spécifique que l'ajustement automatique tentera d'atteindre en modifiant les charges de travail.
Enums | |
---|---|
SCENARIO_UNSPECIFIED |
Valeur par défaut. |
SCALING |
Recommandations d'ajustement telles que initialExecutors. |
BROADCAST_HASH_JOIN |
Ajout d'indices pour les diffusions de relations potentielles. |
MEMORY |
Gestion de la mémoire pour les charges de travail |
Lot
Représentation d'une charge de travail par lot dans le service.
Champs | |
---|---|
name |
Uniquement en sortie. Nom de la ressource du lot. |
uuid |
Uniquement en sortie. Un UUID (identifiant unique universel) de lot. Le service génère cette valeur lorsqu'il crée le lot. |
create_ |
Uniquement en sortie. Heure de création du lot. |
runtime_ |
Uniquement en sortie. Informations d'exécution sur l'exécution par lot. |
state |
Uniquement en sortie. État du lot. |
state_ |
Uniquement en sortie. Informations sur l'état du lot, telles qu'une description de l'échec si l'état est |
state_ |
Uniquement en sortie. Heure à laquelle le lot est passé à l'état actuel. |
creator |
Uniquement en sortie. Adresse e-mail de l'utilisateur qui a créé le lot. |
labels |
Facultatif. Libellés à associer à ce lot. Les clés d'étiquette doivent contenir entre 1 et 63 caractères et être conformes à la RFC 1035. Les valeurs des libellés peuvent être vides, mais, si elles sont présentes, elles doivent comporter entre 1 et 63 caractères et être conformes à la norme RFC 1035. Vous ne pouvez pas associer plus de 32 libellés à un lot. |
runtime_ |
Facultatif. Configuration d'exécution pour l'exécution par lot. |
environment_ |
Facultatif. Configuration de l'environnement pour l'exécution par lot. |
operation |
Uniquement en sortie. Nom de la ressource de l'opération associée à ce lot. |
state_ |
Uniquement en sortie. Informations sur l'historique de l'état du lot. |
Champ d'union batch_config . Partie de la configuration par lot spécifique à l'application/au framework. batch_config ne peut être qu'un des éléments suivants : |
|
pyspark_ |
Facultatif. Configuration de lot PySpark. |
spark_ |
Facultatif. Configuration du lot Spark. |
spark_ |
Facultatif. Configuration du lot SparkR. |
spark_ |
Facultatif. Configuration de lot SparkSql. |
État
État du lot.
Enums | |
---|---|
STATE_UNSPECIFIED |
L'état du lot est inconnu. |
PENDING |
Le lot est créé avant d'être exécuté. |
RUNNING |
Le lot est en cours d'exécution. |
CANCELLING |
Le lot est en cours d'annulation. |
CANCELLED |
La résiliation par lot a bien été effectuée. |
SUCCEEDED |
Le lot a bien été exécuté. |
FAILED |
Le lot n'est plus en cours d'exécution en raison d'une erreur. |
StateHistory
Informations sur l'état historique.
Champs | |
---|---|
state |
Uniquement en sortie. État du lot à ce stade de l'historique. |
state_ |
Uniquement en sortie. Informations sur l'état à ce stade de l'historique. |
state_ |
Uniquement en sortie. Heure à laquelle le lot est passé à l'état "Historique". |
BatchOperationMetadata
Métadonnées décrivant l'opération de traitement par lot.
Champs | |
---|---|
batch |
Nom du lot pour l'opération. |
batch_ |
UUID de lot pour l'opération. |
create_ |
Heure à laquelle l'opération a été créée. |
done_ |
Heure à laquelle l'opération s'est terminée. |
operation_ |
Type d'opération. |
description |
Brève description de l'opération. |
labels |
Libellés associés à l'opération. |
warnings[] |
Avertissements rencontrés lors de l'exécution de l'opération. |
BatchOperationType
Type d'opération pour les ressources Batch
Enums | |
---|---|
BATCH_OPERATION_TYPE_UNSPECIFIED |
Le type d'opération par lot est inconnu. |
BATCH |
Type d'opération par lot. |
CreateBatchRequest
Requête de création d'une charge de travail par lot.
Champs | |
---|---|
parent |
Obligatoire. Ressource parente dans laquelle ce lot sera créé. L'autorisation IAM suivante est requise pour la ressource
|
batch |
Obligatoire. Lot à créer. |
batch_ |
Facultatif. ID à utiliser pour le lot, qui constituera le composant final du nom de ressource du lot. Cette valeur doit comporter entre 4 et 63 caractères. Les caractères valides sont |
request_ |
Facultatif. ID unique permettant d'identifier la requête. Si le service reçoit deux CreateBatchRequest avec le même request_id, la deuxième requête est ignorée et l'opération correspondant au premier lot créé et stocké dans le backend est renvoyée. Recommandation: Définissez cette valeur sur un UUID. La valeur ne doit contenir que des lettres (a-z, A-Z), des chiffres (0-9), des traits de soulignement (_) et des tirets (-). Sa longueur maximale est de 40 caractères. |
CreateSessionRequest
Requête de création d'une session.
Champs | |
---|---|
parent |
Obligatoire. Ressource parent dans laquelle cette session sera créée. L'autorisation IAM suivante est requise pour la ressource
|
session |
Obligatoire. Session interactive à créer. |
session_ |
Obligatoire. ID à utiliser pour la session, qui deviendra le composant final du nom de ressource de la session. Cette valeur doit comporter entre 4 et 63 caractères. Les caractères valides sont /[az][0-9]-/. |
request_ |
Facultatif. Identifiant unique permettant d'identifier la requête. Si le service reçoit deux CreateSessionRequests avec le même ID, la deuxième requête est ignorée, et la première Recommandation: Définissez cette valeur sur un UUID. La valeur ne doit contenir que des lettres (a-z, A-Z), des chiffres (0-9), des traits de soulignement (_) et des tirets (-). Sa longueur maximale est de 40 caractères. |
CreateSessionTemplateRequest
Requête de création d'un modèle de session.
Champs | |
---|---|
parent |
Obligatoire. Ressource parent dans laquelle ce modèle de session sera créé. L'autorisation IAM suivante est requise pour la ressource
|
session_ |
Obligatoire. Modèle de session à créer. |
DeleteBatchRequest
Requête de suppression d'une charge de travail par lot.
Champs | |
---|---|
name |
Obligatoire. Nom complet du lot à récupérer au format "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID" L'autorisation IAM suivante est requise pour la ressource
|
DeleteSessionRequest
Demande de suppression d'une session.
Champs | |
---|---|
name |
Obligatoire. Nom de la ressource de session à supprimer. L'autorisation IAM suivante est requise pour la ressource
|
request_ |
Facultatif. Identifiant unique permettant d'identifier la requête. Si le service reçoit deux DeleteSessionRequest avec le même ID, la deuxième requête est ignorée. Recommandation: Définissez cette valeur sur un UUID. La valeur ne doit contenir que des lettres (a-z, A-Z), des chiffres (0-9), des traits de soulignement (_) et des tirets (-). Sa longueur maximale est de 40 caractères. |
DeleteSessionTemplateRequest
Requête de suppression d'un modèle de session.
Champs | |
---|---|
name |
Obligatoire. Nom de la ressource de modèle de session à supprimer. L'autorisation IAM suivante est requise pour la ressource
|
DiagnoseClusterResults
Emplacement de la sortie des diagnostics.
Champs | |
---|---|
output_ |
Uniquement en sortie. URI Cloud Storage de la sortie de diagnostic. Le rapport de sortie est un fichier texte brut contenant un résumé des diagnostics collectés. |
EnvironmentConfig
Configuration de l'environnement pour une charge de travail.
Champs | |
---|---|
execution_ |
Facultatif. Configuration d'exécution d'une charge de travail. |
peripherals_ |
Facultatif. Configuration des périphériques auxquels la charge de travail a accès. |
ExecutionConfig
Configuration d'exécution d'une charge de travail.
Champs | |
---|---|
service_ |
Facultatif. Compte de service utilisé pour exécuter la charge de travail. |
network_ |
Facultatif. Tags utilisés pour contrôler le trafic réseau. |
kms_ |
Facultatif. Clé Cloud KMS à utiliser pour le chiffrement. |
idle_ |
Facultatif. S'applique uniquement aux sessions. Durée pendant laquelle la session doit rester active lorsqu'elle est inactive. Si ce seuil est dépassé, la session est arrêtée. Ce champ ne peut pas être défini sur une charge de travail par lot. La valeur minimale est de 10 minutes et la valeur maximale de 14 jours (voir la représentation JSON de Durée). Si cette valeur n'est pas définie, la valeur par défaut est 1 heure. Si |
ttl |
Facultatif. Durée au terme de laquelle la charge de travail sera arrêtée, spécifiée sous la forme de la représentation JSON de Durée. Lorsque la charge de travail dépasse cette durée, elle est arrêtée sans condition, sans attendre la fin du travail en cours. Si |
staging_ |
Facultatif. Bucket Cloud Storage utilisé pour préparer les dépendances de la charge de travail, les fichiers de configuration, et stocker la sortie de la charge de travail et d'autres données éphémères, telles que les fichiers d'historique Spark. Si vous ne spécifiez pas de bucket de préproduction, Cloud Dataproc déterminera un emplacement Cloud Storage en fonction de la région où votre charge de travail s'exécute, puis créera et gérera des buckets de préproduction et temporaires par emplacement au niveau du projet. Ce champ nécessite un nom de bucket Cloud Storage, et non un URI |
Champ d'union network . Configuration réseau pour l'exécution de la charge de travail. network ne peut être qu'un des éléments suivants : |
|
network_ |
Facultatif. URI réseau auquel connecter la charge de travail. |
subnetwork_ |
Facultatif. URI du sous-réseau auquel connecter la charge de travail. |
GetBatchRequest
Requête permettant d'obtenir la représentation des ressources pour une charge de travail par lot.
Champs | |
---|---|
name |
Obligatoire. Nom complet du lot à récupérer au format "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID" L'autorisation IAM suivante est requise pour la ressource
|
GetSessionRequest
Requête permettant d'obtenir la représentation de la ressource pour une session.
Champs | |
---|---|
name |
Obligatoire. Nom de la session à récupérer. L'autorisation IAM suivante est requise pour la ressource
|
GetSessionTemplateRequest
Requête permettant d'obtenir la représentation de la ressource pour un modèle de session.
Champs | |
---|---|
name |
Obligatoire. Nom du modèle de session à récupérer. L'autorisation IAM suivante est requise pour la ressource
|
JupyterConfig
Configuration de Jupyter pour une session interactive.
Champs | |
---|---|
kernel |
Facultatif. Noyau |
display_ |
Facultatif. Nom à afficher, affiché dans la fiche de kernelspec Jupyter. |
Noyau
Types de kernel Jupyter.
Enums | |
---|---|
KERNEL_UNSPECIFIED |
Le kernel est inconnu. |
PYTHON |
Kernel Python. |
SCALA |
Noyau Scala. |
ListBatchesRequest
Requête permettant de lister les charges de travail par lot dans un projet.
Champs | |
---|---|
parent |
Obligatoire. Élément parent, propriétaire de cette collection de lots. L'autorisation IAM suivante est requise pour la ressource
|
page_ |
Facultatif. Nombre maximal de lots à renvoyer dans chaque réponse. Le service peut renvoyer un nombre inférieur à cette valeur. La taille de page par défaut est de 20 ; la taille de page maximale est de 1 000. |
page_ |
Facultatif. Jeton de page reçu d'un appel |
filter |
Facultatif. Filtre pour les lots à renvoyer dans la réponse. Un filtre est une expression logique qui limite les valeurs de divers champs dans chaque ressource de lot. Les filtres sont sensibles à la casse et peuvent contenir plusieurs clauses combinées à des opérateurs logiques (ET/OU). Les champs acceptés sont Par exemple, Consultez https://google.aip.dev/assets/misc/ebnf-filtering.txt pour obtenir une description détaillée de la syntaxe de filtrage et une liste des comparaisons acceptées. |
order_ |
Facultatif. Champ(s) sur lequel trier la liste des lots. Actuellement, les seuls ordres de tri acceptés sont "non spécifié" (vide) et Pour en savoir plus, consultez la page https://google.aip.dev/132#ordering. |
ListBatchesResponse
Liste des charges de travail par lot.
Champs | |
---|---|
batches[] |
Uniquement en sortie. Les lots de la collection spécifiée. |
next_ |
Jeton pouvant être envoyé en tant que |
unreachable[] |
Uniquement en sortie. Liste des lots qui n'ont pas pu être inclus dans la réponse. Si vous essayez d'obtenir l'une de ces ressources, vous pourrez peut-être déterminer pourquoi elle n'a pas été incluse dans la réponse de la liste. |
ListSessionTemplatesRequest
Requête permettant de lister les modèles de session d'un projet.
Champs | |
---|---|
parent |
Obligatoire. Élément parent propriétaire de cette collection de modèles de session. L'autorisation IAM suivante est requise pour la ressource
|
page_ |
Facultatif. Nombre maximal de sessions à renvoyer dans chaque réponse. Le service peut renvoyer un nombre inférieur à cette valeur. |
page_ |
Facultatif. Jeton de page reçu d'un appel |
filter |
Facultatif. Filtre pour les modèles de session à renvoyer dans la réponse. Les filtres sont sensibles à la casse et ont la syntaxe suivante: [champ = valeur] ET [champ [= valeur]] ... |
ListSessionTemplatesResponse
Liste des modèles de session.
Champs | |
---|---|
session_ |
Uniquement en sortie. Liste des modèles de session |
next_ |
Jeton pouvant être envoyé en tant que |
ListSessionsRequest
Requête permettant de lister les sessions d'un projet.
Champs | |
---|---|
parent |
Obligatoire. Élément parent qui possède cette collection de sessions. L'autorisation IAM suivante est requise pour la ressource
|
page_ |
Facultatif. Nombre maximal de sessions à renvoyer dans chaque réponse. Le service peut renvoyer un nombre inférieur à cette valeur. |
page_ |
Facultatif. Jeton de page reçu d'un appel |
filter |
Facultatif. Filtre pour les sessions à renvoyer dans la réponse. Un filtre est une expression logique qui limite les valeurs de divers champs dans chaque ressource de session. Les filtres sont sensibles à la casse et peuvent contenir plusieurs clauses combinées à des opérateurs logiques (AND, OR). Les champs acceptés sont Exemple: Pour obtenir une description détaillée de la syntaxe des filtres et une liste des comparateurs compatibles, consultez la page https://google.aip.dev/assets/misc/ebnf-filtering.txt. |
ListSessionsResponse
Liste des sessions interactives.
Champs | |
---|---|
sessions[] |
Uniquement en sortie. Sessions de la collection spécifiée. |
next_ |
Jeton pouvant être envoyé en tant que |
PeripheralsConfig
Configuration des services auxiliaires pour une charge de travail.
Champs | |
---|---|
metastore_ |
Facultatif. Nom de ressource d'un service Dataproc Metastore existant. Exemple :
|
spark_ |
Facultatif. Configuration du serveur d'historique Spark pour la charge de travail. |
PyPiRepositoryConfig
Configuration du dépôt PyPi
Champs | |
---|---|
pypi_ |
Facultatif. Adresse du dépôt PyPi |
PySparkBatch
Configuration permettant d'exécuter une charge de travail par lot Apache PySpark.
Champs | |
---|---|
main_ |
Obligatoire. URI HCFS du fichier Python principal à utiliser comme pilote Spark. Il doit s'agir d'un fichier .py. |
args[] |
Facultatif. Arguments à transmettre au pilote. N'incluez pas d'arguments pouvant être définis comme des propriétés de lot, tels que |
python_ |
Facultatif. URI de fichier HCFS des fichiers Python à transmettre au framework PySpark. Types de fichiers compatibles: |
jar_ |
Facultatif. URI HCFS des fichiers JAR à ajouter au classpath du pilote et des tâches Spark. |
file_ |
Facultatif. URI HCFS des fichiers à placer dans le répertoire de travail de chaque exécuteur. |
archive_ |
Facultatif. URI HCFS des archives à extraire dans le répertoire de travail de chaque exécuteur. Types de fichiers compatibles: |
RepositoryConfig
Configuration des dépôts de dépendances
Champs | |
---|---|
pypi_ |
Facultatif. Configuration du dépôt PyPi. |
RuntimeConfig
Configuration d'exécution pour une charge de travail.
Champs | |
---|---|
version |
Facultatif. Version du runtime par lot. |
container_ |
Facultatif. Image de conteneur personnalisée facultative pour l'environnement d'exécution de la tâche. Si aucune valeur n'est spécifiée, une image de conteneur par défaut est utilisée. |
properties |
Facultatif. Mappage des noms de propriétés sur des valeurs, qui sont utilisées pour configurer l'exécution de la charge de travail. |
repository_ |
Facultatif. Configuration du dépôt de dépendances. |
autotuning_ |
Facultatif. Configuration de l'autotuning de la charge de travail. |
cohort |
Facultatif. Identifiant de la cohorte. Identifie les familles de charges de travail ayant la même forme, par exemple les tâches ETL quotidiennes. |
RuntimeInfo
Informations d'exécution sur l'exécution de la charge de travail.
Champs | |
---|---|
endpoints |
Uniquement en sortie. Mappage des points de terminaison d'accès à distance (tels que les interfaces Web et les API) sur leurs URI. |
output_ |
Uniquement en sortie. URI pointant vers l'emplacement de la sortie standard et de la sortie d'erreur standard de la charge de travail. |
diagnostic_ |
Uniquement en sortie. URI pointant vers l'emplacement du fichier tarball de diagnostic. |
approximate_ |
Uniquement en sortie. Utilisation approximative des ressources de la charge de travail, calculée à la fin de la charge de travail (voir Tarifs de Dataproc sans serveur). Remarque:Le calcul de cette métrique peut changer à l'avenir, par exemple pour capturer la consommation cumulative des ressources de la charge de travail lors de son exécution (consultez les notes de version de Dataproc sans serveur pour en savoir plus sur les annonces, les modifications, les correctifs et les autres développements de Dataproc). |
current_ |
Uniquement en sortie. Instantané de l'utilisation des ressources de la charge de travail actuelle. |
Session
Représentation d'une session.
Champs | |
---|---|
name |
Obligatoire. Nom de la ressource de la session. |
uuid |
Uniquement en sortie. Un UUID (identifiant unique universel) de session. Le service génère cette valeur lorsqu'il crée la session. |
create_ |
Uniquement en sortie. Heure à laquelle la session a été créée. |
runtime_ |
Uniquement en sortie. Informations d'exécution sur l'exécution de la session. |
state |
Uniquement en sortie. État de la session. |
state_ |
Uniquement en sortie. Détails de l'état de la session, tels que la description de l'échec si l'état est |
state_ |
Uniquement en sortie. Heure à laquelle la session est passée à l'état actuel. |
creator |
Uniquement en sortie. Adresse e-mail de l'utilisateur qui a créé la session. |
labels |
Facultatif. Libellés à associer à la session. Les clés d'étiquette doivent contenir entre 1 et 63 caractères et être conformes à la RFC 1035. Les valeurs des libellés peuvent être vides, mais, si elles sont présentes, elles doivent comporter entre 1 et 63 caractères et être conformes à la norme RFC 1035. Vous ne pouvez pas associer plus de 32 libellés à une session. |
runtime_ |
Facultatif. Configuration de l'environnement d'exécution pour l'exécution de la session. |
environment_ |
Facultatif. Configuration de l'environnement pour l'exécution de la session. |
user |
Facultatif. Adresse e-mail de l'utilisateur propriétaire de la session. |
state_ |
Uniquement en sortie. Informations sur l'historique de l'état de la session. |
session_ |
Facultatif. Modèle de session utilisé par la session. Seuls les noms de ressources, y compris l'ID et l'emplacement du projet, sont valides. Exemple: * Le modèle doit se trouver dans le même projet et la même région Dataproc que la session. |
Champ d'union session_config . Configuration de la session. session_config ne peut être qu'un des éléments suivants : |
|
jupyter_ |
Facultatif. Configuration de la session Jupyter. |
spark_ |
Facultatif. Configuration de la session Spark Connect. |
SessionStateHistory
Informations sur l'état historique.
Champs | |
---|---|
state |
Uniquement en sortie. État de la session à ce stade de l'historique de la session. |
state_ |
Uniquement en sortie. Informations sur l'état à ce stade de l'historique de la session. |
state_ |
Uniquement en sortie. Heure à laquelle la session est passée à l'état "historique". |
État
État de la session.
Enums | |
---|---|
STATE_UNSPECIFIED |
L'état de la session est inconnu. |
CREATING |
La session est créée avant l'exécution. |
ACTIVE |
La session est en cours d'exécution. |
TERMINATING |
La session se termine. |
TERMINATED |
La session est arrêtée. |
FAILED |
La session n'est plus en cours d'exécution en raison d'une erreur. |
SessionOperationMetadata
Métadonnées décrivant l'opération Session.
Champs | |
---|---|
session |
Nom de la session pour l'opération. |
session_ |
UUID de session pour l'opération. |
create_ |
Heure à laquelle l'opération a été créée. |
done_ |
Heure à laquelle l'opération a été terminée. |
operation_ |
Type d'opération. |
description |
Brève description de l'opération. |
labels |
Libellés associés à l'opération. |
warnings[] |
Avertissements rencontrés lors de l'exécution de l'opération. |
SessionOperationType
Type d'opération pour les ressources de session
Enums | |
---|---|
SESSION_OPERATION_TYPE_UNSPECIFIED |
Le type d'opération de session est inconnu. |
CREATE |
Créer un type d'opération de session. |
TERMINATE |
Type d'opération "Terminer la session". |
DELETE |
Type d'opération "Delete Session" (Supprimer une session). |
SessionTemplate
Représentation d'un modèle de session.
Champs | |
---|---|
name |
Obligatoire. Nom de la ressource du modèle de session. |
description |
Facultatif. Brève description du modèle. |
create_ |
Uniquement en sortie. Heure de création du modèle. |
creator |
Uniquement en sortie. Adresse e-mail de l'utilisateur qui a créé le modèle. |
labels |
Facultatif. Libellés à associer aux sessions créées à l'aide de ce modèle. Les clés d'étiquette doivent contenir entre 1 et 63 caractères et être conformes à la RFC 1035. Les valeurs des libellés peuvent être vides, mais, si elles sont présentes, elles doivent comporter entre 1 et 63 caractères et être conformes à la norme RFC 1035. Vous ne pouvez pas associer plus de 32 libellés à une session. |
runtime_ |
Facultatif. Configuration d'exécution pour l'exécution de la session. |
environment_ |
Facultatif. Configuration de l'environnement pour l'exécution de la session. |
update_ |
Uniquement en sortie. Heure de la dernière mise à jour du modèle. |
uuid |
Uniquement en sortie. UUID (identifiant unique universel) d'un modèle de session. Le service génère cette valeur lorsqu'il crée le modèle de session. |
Champ d'union session_config . Configuration de la session. session_config ne peut être qu'un des éléments suivants : |
|
jupyter_ |
Facultatif. Configuration de la session Jupyter. |
spark_ |
Facultatif. Configuration de la session Spark Connect. |
SparkBatch
Configuration permettant d'exécuter une charge de travail par lot Apache Spark.
Champs | |
---|---|
args[] |
Facultatif. Arguments à transmettre au pilote. N'incluez pas d'arguments pouvant être définis comme des propriétés de lot, tels que |
jar_ |
Facultatif. URI HCFS des fichiers JAR à ajouter au classpath du pilote et des tâches Spark. |
file_ |
Facultatif. URI HCFS des fichiers à placer dans le répertoire de travail de chaque exécuteur. |
archive_ |
Facultatif. URI HCFS des archives à extraire dans le répertoire de travail de chaque exécuteur. Types de fichiers compatibles: |
Champ d'union driver . Spécification de la méthode principale à appeler pour piloter la charge de travail Spark. Spécifiez le fichier JAR contenant la classe principale ou le nom de la classe principale. Pour transmettre à la fois un fichier JAR principal et une classe principale dans ce fichier JAR, ajoutez le fichier JAR à jar_file_uris , puis spécifiez le nom de la classe principale dans main_class . driver ne peut être qu'un des éléments suivants: |
|
main_ |
Facultatif. URI HCFS du fichier JAR contenant la classe principale. |
main_ |
Facultatif. Nom de la classe principale du pilote. Le fichier JAR contenant la classe doit se trouver dans le chemin d'accès aux classes ou être spécifié dans |
SparkConnectConfig
Ce type ne comporte aucun champ.
Configuration de Spark Connect pour une session interactive.
SparkHistoryServerConfig
Configuration du serveur d'historique Spark pour la charge de travail.
Champs | |
---|---|
dataproc_ |
Facultatif. Nom de ressource d'un cluster Dataproc existant qui servira de serveur d'historique Spark pour la charge de travail. Exemple :
|
SparkRBatch
Configuration permettant d'exécuter une charge de travail par lot Apache SparkR.
Champs | |
---|---|
main_ |
Obligatoire. URI HCFS du fichier R principal à utiliser comme pilote. Doit être un fichier |
args[] |
Facultatif. Arguments à transmettre au pilote Spark. N'incluez pas d'arguments pouvant être définis comme des propriétés de lot, tels que |
file_ |
Facultatif. URI HCFS des fichiers à placer dans le répertoire de travail de chaque exécuteur. |
archive_ |
Facultatif. URI HCFS des archives à extraire dans le répertoire de travail de chaque exécuteur. Types de fichiers compatibles: |
SparkSqlBatch
Configuration permettant d'exécuter des requêtes Apache Spark SQL en tant que charge de travail par lot.
Champs | |
---|---|
query_ |
Obligatoire. URI HCFS du script contenant les requêtes SQL Spark à exécuter. |
query_ |
Facultatif. Mappage des noms de variables de requête sur des valeurs (équivalent à la commande Spark SQL: |
jar_ |
Facultatif. URI HCFS des fichiers JAR à ajouter au CLASSPATH Spark. |
TerminateSessionRequest
Requête visant à arrêter une session interactive.
Champs | |
---|---|
name |
Obligatoire. Nom de la ressource de session à arrêter. L'autorisation IAM suivante est requise pour la ressource
|
request_ |
Facultatif. Identifiant unique permettant d'identifier la requête. Si le service reçoit deux TerminateSessionRequest avec le même ID, la deuxième requête est ignorée. Recommandation: Définissez cette valeur sur un UUID. La valeur ne doit contenir que des lettres (a-z, A-Z), des chiffres (0-9), des traits de soulignement (_) et des tirets (-). Sa longueur maximale est de 40 caractères. |
UpdateSessionTemplateRequest
Requête permettant de mettre à jour un modèle de session.
Champs | |
---|---|
session_ |
Obligatoire. Modèle de session mis à jour. L'autorisation IAM suivante est requise pour la ressource
|
UsageMetrics
Les métriques d'utilisation représentent une approximation du total des ressources consommées par une charge de travail.
Champs | |
---|---|
milli_ |
Facultatif. Utilisation des unités de calcul de données (DCU) en ( |
shuffle_ |
Facultatif. Utilisation de l'espace de stockage de Shuffle en ( |
milli_ |
Facultatif. Utilisation de l'accélérateur en ( |
accelerator_ |
Facultatif. Type d'accélérateur utilisé, le cas échéant |
UsageSnapshot
L'instantané d'utilisation représente les ressources consommées par une charge de travail à un moment donné.
Champs | |
---|---|
milli_ |
Facultatif. Milli-unités de calcul de données (DCUs, Dataproc Compute Units) (voir Tarifs de Dataproc sans serveur). |
shuffle_ |
Facultatif. Espace de stockage de Shuffle en gigaoctets (Go). (voir Tarifs de Dataproc sans serveur) |
milli_ |
Facultatif. Millième (mille millième) d'unités de calcul de données (DCU) facturées au niveau premium (voir Tarifs de Dataproc sans serveur). |
shuffle_ |
Facultatif. Espace de stockage Shuffle en gigaoctets (Go) facturé au niveau Premium. (voir Tarifs de Dataproc sans serveur) |
milli_ |
Facultatif. Accélérateur milli (mille millièmes). (voir Tarifs de Dataproc sans serveur) |
accelerator_ |
Facultatif. Type d'accélérateur utilisé, le cas échéant |
snapshot_ |
Facultatif. Code temporel de l'instantané d'utilisation. |