Pianificare un trasferimento del Comparison Shopping Service Center

Questo documento mostra come pianificare e gestire i job di caricamento ricorrenti per i dati dei report del CSS Center utilizzando BigQuery Data Transfer Service.

Prima di iniziare

Prima di creare un trasferimento di dati CSS Center:

  • Abilita BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati del CSS Center.
    • Per la regione del set di dati, supportiamo l'utilizzo dell'opzione predefinita, ovvero Più regioni, negli Stati Uniti o nell'UE.
    • Se vuoi creare un set di dati in una regione specifica, il trasferimento dei dati di CSS Center è supportato solo nelle seguenti regioni:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Per creare un trasferimento di dati CSS Center, devi disporre dell'ID dominio CSS.
  • Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche email. Per saperne di più, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

Assicurati che l'utente che crea il trasferimento dei dati disponga delle seguenti autorizzazioni richieste.

Per BigQuery:

Per ottenere le autorizzazioni necessarie per creare un trasferimento, chiedi all'amministratore di concederti il ruolo IAM Amministratore BigQuery (roles/bigquery.admin). Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un trasferimento sono necessarie le seguenti autorizzazioni:

  • bigquery.transfers.update sull'utente
  • bigquery.datasets.get sul set di dati di destinazione
  • bigquery.datasets.update sul set di dati di destinazione

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per il CSS Center:

Devi avere accesso all'account CSS Center utilizzato nella configurazione del trasferimento.

Configurare un trasferimento CSS Center

Per creare un trasferimento di dati per i report di CSS Center:

Console

  1. Vai alla pagina Trasferimenti di dati nella console Google Cloud .

    Vai a Trasferimenti dati

  2. Fai clic su Crea trasferimento.

  3. Nella pagina Crea trasferimento:

    • Nella sezione Tipo di origine, per Origine, scegli Google CSS Center.

    • Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento di dati, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

      Nome trasferimento

    • La sezione Opzioni di pianificazione non è configurabile. I trasferimenti di dati di CSS Center sono pianificati per essere eseguiti una volta ogni 24 ore.

    • Nella sezione Impostazioni destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

    • Nella sezione Dettagli origine dati, in ID CSS, inserisci l'ID dominio CSS.

    • Seleziona i report da trasferire. Per ulteriori dettagli, vedi Report supportati.

    • (Facoltativo) Nella sezione Opzioni di notifica:

      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
      • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche di esecuzione di Pub/Sub per il trasferimento di dati.

    Dati di trasferimento di CSS Center.

  4. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento: --transfer_config. Sono necessari anche i seguenti flag:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Puoi anche fornire il flag --project_id per specificare un progetto particolare. Se --project_id non è specificato, viene utilizzato il progetto predefinito.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dove:

  • project_id è l'ID progetto.
  • dataset è il set di dati di destinazione per la configurazione del trasferimento dei dati.
  • name è il nome visualizzato per la configurazione del trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • parameters contiene i parametri per la configurazione del trasferimento dei dati creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'.
    • css_id: l'ID dominio CSS.
    • export_products: se trasferire o meno i dati relativi ai prodotti e ai problemi dei prodotti. Questo parametro è incluso per impostazione predefinita, anche se non specifichi il parametro export_products. Ti consigliamo di includere questo parametro in modo esplicito e di impostarlo su true.
  • data_source è l'origine dati: css_center.

Ad esempio, il seguente comando crea un trasferimento di dati di CSS Center denominato My Transfer utilizzando l'ID dominio CSS 1234 e il set di dati di destinazione mydataset. Il trasferimento dei dati viene creato nel tuo progetto predefinito.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

La prima volta che esegui il comando, ricevi un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.