Les E/S gérées sont compatibles avec les fonctionnalités suivantes pour BigQuery:
- Création de tableaux dynamiques
- Destinations dynamiques
- Pour les lectures, le connecteur utilise l'API BigQuery Storage Read.
Pour les écritures, le connecteur utilise les méthodes BigQuery suivantes:
- Si la source est illimitée et que Dataflow utilise le traitement en flux "exactement une fois", le connecteur effectue des écritures dans BigQuery à l'aide de l'API BigQuery Storage Write avec une sémantique de distribution "exactement une fois".
- Si la source est illimitée et que Dataflow utilise le traitement en flux continu "au moins une fois", le connecteur effectue des écritures dans BigQuery à l'aide de l'API BigQuery Storage Write avec une sémantique de diffusion "au moins une fois".
- Si la source est limitée, le connecteur utilise des chargements de fichiers BigQuery.
Conditions requises
Nécessite le SDK Apache Beam pour Java en version 2.61.0 ou ultérieure.
Configuration
| Lire et écrire la configuration | Type de données | Description |
|---|---|---|
table |
chaîne | Table BigQuery à lire ou à écrire. Formatez-le au format "PROJECT.DATASET.TABLE". Exemple : "my_project.dataset1.table1". |
kms_key |
chaîne | Spécifie une clé Cloud Key Management Service (Cloud KMS) pour chiffrer la table BigQuery lors de l'écriture ou pour chiffrer les tables temporaires créées lors des lectures. |
| Lire la configuration | Type de données | Description |
fields |
liste de chaînes | Liste des colonnes à lire à partir du tableau. Ce paramètre permet des lectures efficaces lorsqu'une table contient de nombreuses colonnes. |
query |
chaîne | Requête SQL à lire. Si spécifié, le connecteur exécute la requête sur BigQuery et lit les résultats de la requête. |
row_restriction |
chaîne | Prédicat qui filtre les données côté serveur. Exemple : "age > 18". |
| Écrire la configuration | Type de données | Description |
triggering_frequency |
entier | Pour les sources illimitées, spécifie la fréquence à laquelle les écritures de fichiers sont déclenchées, en secondes. |
Pour les lectures, vous devez spécifier table ou query. Pour les écritures, vous devez spécifier table.
Pour plus d'informations, consultez les articles suivants :