Mettre à jour les propriétés des ensembles de données

Console

1. Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données.

2. Développez l'option more_vert Actions puis cliquez sur Ouvrir.

3. Dans le panneau Détails, cliquez sur mode_edit Modifier les détails pour modifier le texte de description.

   Dans la boîte de dialogue Modifier les détails qui s'affiche, procédez comme suit :

   1. Dans le champ Description, saisissez une description ou modifiez la description existante.
   2. Pour enregistrer la nouvelle description, cliquez sur Enregistrer.

SQL

Pour mettre à jour la description d'un ensemble de données, utilisez l'instruction ALTER SCHEMA SET OPTIONS pour définir l'option description.

L'exemple suivant définit la description d'un ensemble de données nommé mydataset :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez l'instruction suivante :

    ALTER SCHEMA mydataset
    SET OPTIONS (
        description = 'Description of mydataset');
    

3. Cliquez sur play_circle Exécuter.

Pour en savoir plus sur l'exécution des requêtes, consultez Exécuter une requête interactive.

bq

Exécutez la commande bq update avec l'option --description. Si vous mettez à jour un ensemble de données dans un projet autre que votre projet par défaut, ajoutez l'ID du projet au nom de l'ensemble de données, en respectant le format suivant : project_id:dataset.

bq update \
--description "string" \
project_id:dataset

Remplacez l'élément suivant :

• string : texte qui décrit l'ensemble de données entre guillemets.
• project_id : ID de votre projet.
• dataset : nom de l'ensemble de données que vous mettez à jour.

Exemples :

Saisissez la commande suivante pour remplacer la description de mydataset par "Description of mydataset". mydataset se trouve dans votre projet par défaut.

bq update --description "Description of mydataset" mydataset

Saisissez la commande suivante pour remplacer la description de mydataset par "Description of mydataset". L'ensemble de données se trouve dans myotherproject, et non dans votre projet par défaut.

bq update \
--description "Description of mydataset" \
myotherproject:mydataset

API

Appelez datasets.patch, puis mettez à jour la propriété description de la ressource d'ensemble de données. Étant donné que la méthode datasets.update remplace l'intégralité de la ressource d'ensemble de données, la méthode datasets.patch est préférable.

Go

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// updateDatasetDescription demonstrates how the Description metadata of a dataset can
// be read and modified.
func updateDatasetDescription(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	ds := client.Dataset(datasetID)
	meta, err := ds.Metadata(ctx)
	if err != nil {
		return err
	}
	update := bigquery.DatasetMetadataToUpdate{
		Description: "Updated Description.",
	}
	if _, err = ds.Update(ctx, update, meta.ETag); err != nil {
		return err
	}
	return nil
}

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;

public class UpdateDatasetDescription {

  public static void runUpdateDatasetDescription() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String newDescription = "this is the new dataset description";
    updateDatasetDescription(datasetName, newDescription);
  }

  public static void updateDatasetDescription(String datasetName, String newDescription) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Dataset dataset = bigquery.getDataset(datasetName);
      bigquery.update(dataset.toBuilder().setDescription(newDescription).build());
      System.out.println("Dataset description updated successfully to " + newDescription);
    } catch (BigQueryException e) {
      System.out.println("Dataset description was not updated \n" + e.toString());
    }
  }
}

Node.js

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function updateDatasetDescription() {
  // Updates a dataset's description.

  // Retreive current dataset metadata
  const dataset = bigquery.dataset(datasetId);
  const [metadata] = await dataset.getMetadata();

  // Set new dataset description
  const description = 'New dataset description.';
  metadata.description = description;

  const [apiResponse] = await dataset.setMetadata(metadata);
  const newDescription = apiResponse.description;

  console.log(`${datasetId} description: ${newDescription}`);
}

Python

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to fetch.
# dataset_id = 'your-project.your_dataset'

dataset = client.get_dataset(dataset_id)  # Make an API request.
dataset.description = "Updated description."
dataset = client.update_dataset(dataset, ["description"])  # Make an API request.

full_dataset_id = "{}.{}".format(dataset.project, dataset.dataset_id)
print(
    "Updated dataset '{}' with description '{}'.".format(
        full_dataset_id, dataset.description
    )
)

Console

1. Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données.

2. Développez l'option more_vert Actions puis cliquez sur Ouvrir.

3. Sur la page Détails, cliquez sur l'icône en forme de crayon à côté de l'onglet Informations sur l'ensemble de données pour modifier le délai d'expiration.

4. Dans la boîte de dialogue Informations sur l'ensemble de données, dans la section Expiration de la table par défaut, saisissez une valeur pour le paramètre Nombre de jours après la création de la table.

5. Cliquez sur Enregistrer.

SQL

Pour mettre à jour le délai d'expiration de table par défaut, utilisez l'instruction ALTER SCHEMA SET OPTIONS pour définir l'option default_table_expiration_days.

L'exemple suivant met à jour le délai d'expiration par défaut de la table pour un ensemble de données nommé mydataset.

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez l'instruction suivante :

    ALTER SCHEMA mydataset
    SET OPTIONS(
        default_table_expiration_days = 3.75);
    

3. Cliquez sur play_circle Exécuter.

Pour en savoir plus sur l'exécution des requêtes, consultez Exécuter une requête interactive.

bq

Pour mettre à jour le délai d'expiration par défaut des tables nouvellement créées dans un ensemble de données, saisissez la commande bq update avec l'option --default_table_expiration. Si vous mettez à jour un ensemble de données dans un projet autre que votre projet par défaut, ajoutez l'ID du projet au nom de l'ensemble de données, en respectant le format suivant : project_id:dataset.

bq update \
--default_table_expiration integer \
project_id:dataset

Remplacez l'élément suivant :

• integer : durée de vie par défaut (en secondes) des tables nouvellement créées. La valeur minimale est de 3 600 secondes (une heure). Le délai d'expiration correspond à l'heure UTC actuelle plus la valeur entière. Spécifiez 0 pour supprimer le délai d'expiration existant. Toutes les tables créées dans l'ensemble de données sont supprimées integer secondes après leur création. Cette valeur est appliquée si vous ne définissez pas de délai d'expiration pour la table lors de sa création.
• project_id : ID de votre projet.
• dataset : nom de l'ensemble de données que vous mettez à jour.

Exemples :

Pour les nouvelles tables créées dans mydataset, saisissez la commande suivante pour définir le délai d'expiration de table par défaut sur deux heures (7 200 secondes) à partir de l'heure actuelle. L'ensemble de données se trouve dans votre projet par défaut.

bq update --default_table_expiration 7200 mydataset

Pour les nouvelles tables créées dans mydataset, saisissez la commande suivante pour définir le délai d'expiration de table par défaut sur deux heures (7 200 secondes) à partir de l'heure actuelle. L'ensemble de données se trouve dans myotherproject, et non dans votre projet par défaut.

bq update --default_table_expiration 7200 myotherproject:mydataset

API

Appelez datasets.patch, puis mettez à jour la propriété defaultTableExpirationMs de la ressource d'ensemble de données. Dans l'API, le délai d'expiration est exprimé en millisecondes. Étant donné que la méthode datasets.update remplace l'intégralité de la ressource d'ensemble de données, la méthode datasets.patch est préférable.

Go

import (
	"context"
	"fmt"
	"time"

	"cloud.google.com/go/bigquery"
)

// updateDatasetDefaultExpiration demonstrats setting the default expiration of a dataset
// to a specific retention period.
func updateDatasetDefaultExpiration(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	ds := client.Dataset(datasetID)
	meta, err := ds.Metadata(ctx)
	if err != nil {
		return err
	}
	update := bigquery.DatasetMetadataToUpdate{
		DefaultTableExpiration: 24 * time.Hour,
	}
	if _, err := client.Dataset(datasetID).Update(ctx, update, meta.ETag); err != nil {
		return err
	}
	return nil
}

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import java.util.concurrent.TimeUnit;

public class UpdateDatasetExpiration {

  public static void runUpdateDatasetExpiration() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    updateDatasetExpiration(datasetName);
  }

  public static void updateDatasetExpiration(String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      // Update dataset expiration to one day
      Long newExpiration = TimeUnit.MILLISECONDS.convert(1, TimeUnit.DAYS);

      Dataset dataset = bigquery.getDataset(datasetName);
      bigquery.update(dataset.toBuilder().setDefaultTableLifetime(newExpiration).build());
      System.out.println("Dataset description updated successfully to " + newExpiration);
    } catch (BigQueryException e) {
      System.out.println("Dataset expiration was not updated \n" + e.toString());
    }
  }
}

Node.js

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function updateDatasetExpiration() {
  // Updates the lifetime of all tables in the dataset, in milliseconds.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_dataset";

  // Retreive current dataset metadata
  const dataset = bigquery.dataset(datasetId);
  const [metadata] = await dataset.getMetadata();

  // Set new dataset metadata
  const expirationTime = 24 * 60 * 60 * 1000;
  metadata.defaultTableExpirationMs = expirationTime.toString();

  const [apiResponse] = await dataset.setMetadata(metadata);
  const newExpirationTime = apiResponse.defaultTableExpirationMs;

  console.log(`${datasetId} expiration: ${newExpirationTime}`);
}

Python

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to fetch.
# dataset_id = 'your-project.your_dataset'

dataset = client.get_dataset(dataset_id)  # Make an API request.
dataset.default_table_expiration_ms = 24 * 60 * 60 * 1000  # In milliseconds.

dataset = client.update_dataset(
    dataset, ["default_table_expiration_ms"]
)  # Make an API request.

full_dataset_id = "{}.{}".format(dataset.project, dataset.dataset_id)
print(
    "Updated dataset {} with new expiration {}".format(
        full_dataset_id, dataset.default_table_expiration_ms
    )
)

Console

La mise à jour du délai d'expiration de partition par défaut d'un ensemble de données n'est actuellement pas possible dans la console Google Cloud .

SQL

Pour mettre à jour le délai d'expiration de la partition par défaut, utilisez l'instruction ALTER SCHEMA SET OPTIONS pour définir l'option default_partition_expiration_days.

L'exemple suivant met à jour le délai d'expiration par défaut de la partition pour un ensemble de données nommé mydataset :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez l'instruction suivante :

    ALTER SCHEMA mydataset
    SET OPTIONS(
        default_partition_expiration_days = 3.75);
    

3. Cliquez sur play_circle Exécuter.

Pour en savoir plus sur l'exécution des requêtes, consultez Exécuter une requête interactive.

bq

Pour mettre à jour le délai d'expiration par défaut d'un ensemble de données, saisissez la commande bq update avec l'option --default_partition_expiration. Si vous mettez à jour un ensemble de données dans un projet autre que votre projet par défaut, ajoutez l'ID du projet au nom de l'ensemble de données, en respectant le format suivant : project_id:dataset.

bq update \
--default_partition_expiration integer \
project_id:dataset

Remplacez l'élément suivant :

• integer : durée de vie par défaut (en secondes) des partitions des tables partitionnées nouvellement créées. Aucune valeur minimale n'est définie pour cette option. Spécifiez 0 pour supprimer le délai d'expiration existant. Toutes les partitions des tables partitionnées nouvellement créées sont supprimées integer secondes après la date UTC des partitions. Cette valeur est appliquée si vous ne définissez pas de délai d'expiration de partition sur la table lors de sa création.
• project_id : ID de votre projet.
• dataset : nom de l'ensemble de données que vous mettez à jour.

Exemples :

Saisissez la commande suivante pour définir le délai d'expiration de partition par défaut pour les nouvelles tables partitionnées créées dans mydataset sur 26 heures (93 600 secondes). L'ensemble de données se trouve dans votre projet par défaut.

bq update --default_partition_expiration 93600 mydataset

Saisissez la commande suivante pour définir le délai d'expiration de partition par défaut pour les nouvelles tables partitionnées créées dans mydataset sur 26 heures (93 600 secondes). L'ensemble de données se trouve dans myotherproject, et non dans votre projet par défaut.

bq update --default_partition_expiration 93600 myotherproject:mydataset

API

Appelez datasets.patch, puis mettez à jour la propriété defaultPartitionExpirationMs de la ressource d'ensemble de données. Le délai d'expiration est exprimé en millisecondes. Étant donné que la méthode datasets.update remplace l'intégralité de la ressource d'ensemble de données, la méthode datasets.patch est préférable.

Console

1. Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données.
2. Développez l'option more_vert Actions puis cliquez sur Ouvrir.
3. Dans le panneau Détails, cliquez sur mode_edit Modifier les détails.
4. Développez les Options avancées, puis sélectionnez la fenêtre de fonctionnalité temporelle à utiliser.
5. Cliquez sur Enregistrer.

SQL

Utilisez l'instruction ALTER SCHEMA SET OPTIONS avec l'option max_time_travel_hours pour spécifier la fenêtre de fonctionnalité temporelle pendant la modification d'un ensemble de données. La valeur max_time_travel_hours doit être un entier exprimé par des multiples de 24 (48, 72, 96, 120, 144, 168) entre 48 (2 jours) et 168 (7 jours).

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez l'instruction suivante :

   ALTER SCHEMA DATASET_NAME
   SET OPTIONS(
     max_time_travel_hours = HOURS);

   Remplacez les éléments suivants :

   • DATASET_NAME : nom de l'ensemble de données que vous mettez à jour.
   • HOURS par la durée de la fenêtre de fonctionnalité temporelle, en heures.

3. Cliquez sur play_circle Exécuter.

Pour en savoir plus sur l'exécution des requêtes, consultez Exécuter une requête interactive.

bq

Exécutez la commande bq update avec l'option --max_time_travel_hours pour spécifier la fenêtre de fonctionnalité temporelle pendant la modification d'un ensemble de données. La valeur --max_time_travel_hours doit être un entier exprimé par des multiples de 24 (48, 72, 96, 120, 144, 168) entre 48 (2 jours) et 168 (7 jours).

bq update \
--dataset=true --max_time_travel_hours=HOURS \
PROJECT_ID:DATASET_NAME

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet.
• DATASET_NAME : nom de l'ensemble de données que vous mettez à jour.
• HOURS par la durée de la fenêtre de fonctionnalité temporelle, en heures.

API

Appelez la méthode datasets.patch ou datasets.update avec une ressource d'ensemble de données dans laquelle vous avez spécifié une valeur pour le champ maxTimeTravelHours. La valeur maxTimeTravelHours doit être un entier exprimé par des multiples de 24 (48, 72, 96, 120, 144, 168) entre 48 (2 jours) et 168 (7 jours).

Console

1. Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données.
2. Développez l'option more_vert Actions puis cliquez sur Ouvrir.
3. Dans le panneau Détails, cliquez sur mode_edit Modifier les détails.
4. Développez les Options avancées, puis sélectionnez Activer le modèle de facturation du stockage physique pour utiliser la facturation du stockage physique, ou désélectionnez l'option pour utiliser la facturation du stockage logique.
5. Cliquez sur Enregistrer.

SQL

Pour mettre à jour le modèle de facturation d'un ensemble de données, utilisez l'instruction ALTER SCHEMA SET OPTIONS et définissez l'option storage_billing_model :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez l'instruction suivante :

   ALTER SCHEMA DATASET_NAME
   SET OPTIONS(
    storage_billing_model = 'BILLING_MODEL');

   Remplacez les éléments suivants :

   • DATASET_NAME par le nom de l'ensemble de données que vous modifiez.
   • BILLING_MODEL par le type de stockage que vous souhaitez utiliser (LOGICAL ou PHYSICAL).

3. Cliquez sur play_circle Exécuter.

Pour en savoir plus sur l'exécution des requêtes, consultez Exécuter une requête interactive.

Pour mettre à jour le modèle de facturation de l'espace de stockage de tous les ensembles de données d'un projet, utilisez la requête SQL suivante pour chaque région où se trouvent les ensembles de données :

FOR record IN
 (SELECT CONCAT(catalog_name, '.', schema_name) AS dataset_path
 FROM PROJECT_ID.region-REGION.INFORMATION_SCHEMA.SCHEMATA)
DO
 EXECUTE IMMEDIATE
   "ALTER SCHEMA `" || record.dataset_path || "` SET OPTIONS(storage_billing_model = 'BILLING_MODEL')";
END FOR;

Remplacez les éléments suivants :

• PROJECT_ID par votre ID de projet
• REGION avec un qualificatif de région
• BILLING_MODEL par le type de stockage que vous souhaitez utiliser (LOGICAL ou PHYSICAL).

bq

Pour mettre à jour le modèle de facturation d'un ensemble de données, exécutez la commande bq update en définissant l'option --storage_billing_model :

bq update -d --storage_billing_model=BILLING_MODEL PROJECT_ID:DATASET_NAME

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet.
• DATASET_NAME : nom de l'ensemble de données que vous mettez à jour.
• BILLING_MODEL : type de stockage que vous souhaitez utiliser (LOGICAL ou PHYSICAL)

API

Appelez la méthode datasets.update avec une ressource d'ensemble de données définie, où le champ storageBillingModel est défini.

L'exemple suivant montre comment appeler datasets.update avec curl :

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" -L -X PUT https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID -d '{"datasetReference": {"projectId": "PROJECT_ID", "datasetId": "DATASET_NAME"}, "storageBillingModel": "BILLING_MODEL"}'

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet.
• DATASET_NAME : nom de l'ensemble de données que vous mettez à jour.
• BILLING_MODEL : type de stockage que vous souhaitez utiliser (LOGICAL ou PHYSICAL)