Configurare e utilizzare la risoluzione delle entità in BigQuery

Questo documento mostra come implementare la risoluzione delle entità per gli utenti finali della risoluzione delle entità (di seguito denominati utenti finali) e i provider di identità.

Gli utenti finali possono utilizzare questo documento per connettersi a un provider di identità e utilizzare il servizio del provider per trovare corrispondenze tra i record. I provider di identità possono utilizzare questo documento per configurare e impostare i servizi da condividere con gli utenti finali su Google Cloud Marketplace.

Flusso di lavoro per gli utenti finali

Le sezioni seguenti mostrano agli utenti finali come configurare la risoluzione delle entità in BigQuery. Per una rappresentazione visiva della configurazione completa, consulta l'architettura per la risoluzione delle entità.

Prima di iniziare

  1. Contatta e stabilisci un rapporto con un provider di identità. BigQuery supporta la risoluzione delle entità con LiveRamp e TransUnion.
  2. Acquisisci i seguenti elementi dal provider di identità:
    • Credenziali del service account
    • Firma della funzione remota
  3. Crea due set di dati nel tuo progetto:
    • Set di dati di input
    • Set di dati di output

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire job di risoluzione delle entità, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Affinché il account di servizio del provider di identità possa leggere il set di dati di input e scrivere nel set di dati di output:

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Tradurre o risolvere le entità

Per istruzioni specifiche sul fornitore di identità, consulta le sezioni seguenti.

LiveRamp

Prerequisiti

Configurazione

I seguenti passaggi sono necessari quando utilizzi LiveRamp Embedded Identity per la prima volta. Al termine della configurazione, tra un'esecuzione e l'altra devono essere modificate solo la tabella di input e la tabella dei metadati.

Crea una tabella di input

Crea una tabella nel set di dati di input. Compila la tabella con RampID, domini target e tipi di target. Per dettagli ed esempi, vedi Colonne e descrizioni della tabella di input.

Crea una tabella di metadati

La tabella dei metadati viene utilizzata per controllare l'esecuzione di LiveRamp Embedded Identity su BigQuery. Crea una tabella di metadati nel set di dati di input. Compila la tabella dei metadati con ID client, modalità di esecuzione, domini di destinazione e tipi di targeting. Per dettagli ed esempi, vedi Colonne e descrizioni della tabella dei metadati.

Condividere tabelle con LiveRamp

Concedi all'account di servizio LiveRamp Google Cloud l'accesso per visualizzare ed elaborare i dati nel set di dati di input. Per dettagli ed esempi, vedi Condividere tabelle e set di dati con LiveRamp.

Esegui un job di identità incorporata

Per eseguire un job di identità incorporata con LiveRamp in BigQuery:

  1. Verifica che tutti i RampID codificati nel tuo dominio si trovino nella tabella di input.
  2. Prima di eseguire il job, verifica che la tabella dei metadati sia ancora accurata.
  3. Contatta LiveRampIdentitySupport@liveramp.com con una richiesta di elaborazione del job. Includi l'ID progetto, l'ID set di dati e l'ID tabella (se applicabile) per la tabella di input, la tabella dei metadati e il set di dati di output. Per saperne di più, consulta Notifica a LiveRamp di avviare la transcodifica.

I risultati vengono generalmente inviati al set di dati di output entro tre giorni lavorativi.

Assistenza LiveRamp

Per problemi di assistenza, contatta l'assistenza per l'identità LiveRamp.

Fatturazione LiveRamp

LiveRamp gestisce la fatturazione per la risoluzione delle entità.

TransUnion

Prerequisiti

  • Contatta l'assistenza TransUnion Cloud per eseguire un contratto per accedere al servizio. Fornisci i dettagli del tuo Google Cloud ID progetto, i tipi di dati di input, il caso d'uso e il volume di dati.
  • L'assistenza cloud di TransUnion abilita il servizio per il tuo progetto Google Cloud e condivide una guida all'implementazione dettagliata che include i dati di output disponibili.

Configurazione

I seguenti passaggi sono necessari quando utilizzi il servizio di risoluzione e arricchimento dell'identità TruAudience di TransUnion nel tuo ambiente BigQuery.

Crea una connessione esterna

Crea una connessione a un'origine dati esterna di tipo Modelli remoti di Vertex AI, funzioni remote e BigLake (risorsa Cloud). Utilizzerai questa connessione per attivare il servizio di risoluzione dell'identità ospitato nell'account TransUnion Google Cloud dal tuo accountGoogle Cloud .

Copia l'ID connessione e l'ID account di servizio e condividili con il team di distribuzione clienti di TransUnion.

Creare una funzione remota

Crea una funzione remota che interagisce con l'endpoint dell'orchestratore di servizi ospitato nel progetto Google Cloud TransUnion per trasmettere i metadati necessari (inclusi i mapping dello schema) al servizio TransUnion. Utilizza l'ID connessione della connessione esterna che hai creato e l'endpoint della funzione cloud ospitata da TransUnion condiviso dal team di distribuzione clienti di TransUnion.

Crea una tabella di input

Crea una tabella nel set di dati di input. TransUnion supporta nome, indirizzo postale, email, telefono, data di nascita, indirizzo IPv4 e ID dispositivo come input. Segui le linee guida di formattazione riportate nella guida all'implementazione che TransUnion ti ha inviato.

Crea una tabella di metadati

Crea una tabella di metadati che memorizzi la configurazione richiesta dal servizio di risoluzione delle identità per elaborare i dati, incluse le mappature dello schema. Per dettagli ed esempi, consulta la guida all'implementazione che TransUnion ha condiviso con te.

Creare una tabella dello stato del job

Crea una tabella che riceverà aggiornamenti sull'elaborazione di un batch di input. Puoi eseguire query su questa tabella per attivare altri processi downstream nella pipeline. Gli stati del job possibili sono i seguenti: RUNNING, COMPLETED o ERROR.

Crea la chiamata al servizio

Utilizza la seguente procedura per chiamare il servizio di risoluzione dell'identità TransUnion dopo aver raccolto tutti i metadati, averli pacchettizzati e averli passati all'endpoint della funzione cloud di invocazione ospitata da TransUnion.

-- create service invocation procedure
CREATE OR REPLACE
  PROCEDURE
    `<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
      begin
        declare sql_query STRING;

declare json_result STRING;
declare base64_result STRING;

SET sql_query =
  '''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
  || '''` where  config_id="''' || config_id || '''" ''';

EXECUTE immediate sql_query INTO json_result;

SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));

SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);

END;
Crea la tabella di output delle corrispondenze

Esegui il seguente script SQL per creare la tabella di output corrispondente. Questo è l'output standard dell'applicazione, che include indicatori di corrispondenza, punteggi, ID individuali persistenti e ID nucleo familiare.

-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);
Configura i metadati

Segui la guida all'implementazione che TransUnion ti ha inviato per mappare lo schema di input allo schema dell'applicazione. Questi metadati configurano anche la generazione di ID di collaborazione, che sono identificatori non persistenti condivisibili che possono essere utilizzati nelle data clean room.

Concedi accesso in lettura e scrittura

Ottieni l'ID account di servizio della connessione Apache Spark dal team di distribuzione clienti di TransUnion e concedigli l'accesso in lettura e scrittura al set di dati contenente le tabelle di input e output. Ti consigliamo di fornire l'ID account di servizio con un ruolo Editor dati BigQuery nel set di dati.

Richiamare l'applicazione

Puoi richiamare l'applicazione dall'interno del tuo ambiente eseguendo lo script seguente.

call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run

Assistenza

Per problemi tecnici, contatta l'assistenza TransUnion Cloud.

Fatturazione e utilizzo

TransUnion monitora l'utilizzo dell'applicazione e lo utilizza a fini di fatturazione. I clienti attivi possono contattare il proprio rappresentante per le consegne di TransUnion per ulteriori informazioni.

Flusso di lavoro per i provider di identità

Le sezioni seguenti mostrano ai provider di identità come configurare la risoluzione delle entità in BigQuery. Per una rappresentazione visiva della configurazione completa, vedi l'architettura per la risoluzione delle entità.

Prima di iniziare

  1. Crea un job Cloud Run o una funzione Cloud Run da integrare con la funzione remota. Entrambe le opzioni sono adatte a questo scopo.
  2. Prendi nota del nome del account di servizio associato alla funzione Cloud Run o Cloud Run:

    1. Nella console Google Cloud , vai alla pagina Cloud Functions.

      Vai a Cloud Functions

    2. Fai clic sul nome della funzione, quindi sulla scheda Dettagli.

    3. Nel riquadro Informazioni generali, trova e annota il nome dell'account di servizio per la funzione remota.

  3. Crea una funzione remota.

  4. Raccogli le entità utente finale dall'utente finale.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire job di risoluzione delle entità, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Per consentire al account di servizio associato alla tua funzione di leggere e scrivere nei set di dati associati e avviare i job:
  • Affinché l'utente finale principale possa vedere e connettersi alla funzione remota:

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Condividere la funzione remota di risoluzione delle entità

Modifica e condividi il seguente codice dell'interfaccia remota con l'utente finale. L'utente finale ha bisogno di questo codice per avviare il job di risoluzione delle entità.

`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)

Sostituisci LIST_OF_PARAMETERS con l'elenco dei parametri passati alla funzione remota.

(Facoltativo) Fornisci i metadati del job

Puoi fornire facoltativamente i metadati del job utilizzando una funzione remota separata o scrivendo una nuova tabella di stato nel set di dati di output dell'utente. Esempi di metadati includono stati e metriche dei job.

Fatturazione per i provider di identità

Per semplificare la fatturazione e l'onboarding dei clienti, ti consigliamo di integrare il tuo servizio di risoluzione delle entità con Google Cloud Marketplace. In questo modo puoi configurare un modello di prezzi in base all'utilizzo del job di risoluzione delle entità, con Google che gestisce la fatturazione per tuo conto. Per saperne di più, consulta Offerta di prodotti Software as a Service (SaaS).