Modello da Google Cloud a Neo4j

Il modello Google Cloud to Neo4j ti consente di importare un set di dati in un database Neo4j tramite un job Dataflow, recuperando i dati da file CSV ospitati in bucket Cloud Storage. Inoltre, consente di manipolare e trasformare i dati nei vari passaggi dell'importazione. Puoi utilizzare il modello sia per le importazioni iniziali sia per quelle incrementali.

Requisiti della pipeline

  • Un'istanza Neo4j in esecuzione
  • Un bucket Cloud Storage
  • Un set di dati da importare sotto forma di file CSV
  • Un file di specifica del job da utilizzare

Creare un file di specifiche del job

Il file di specifica del job è costituito da un oggetto JSON con le seguenti sezioni:

  • config: flag globali che influiscono sul modo in cui viene eseguita l'importazione.
  • sources: definizioni delle origini dati (relazionali).
  • targets: definizioni dei target di dati (grafo: nodi/relazioni).
  • actions: azioni pre/post-caricamento.

Per ulteriori informazioni, consulta Creare un file di specifica del job nella documentazione di Neo4j.

Parametri del modello

Parametri obbligatori

  • jobSpecUri: il percorso del file di specifica del job, che contiene la configurazione per i metadati di origine e di destinazione.

Parametri facoltativi

  • neo4jConnectionUri: il percorso del file JSON dei metadati della connessione Neo4j.
  • neo4jConnectionSecretId: l'ID segreto per i metadati della connessione Neo4j. Questa è un'alternativa all'opzione del percorso GCS.
  • optionsJson: JSON delle opzioni. Utilizza i token di runtime. Ad esempio, {token1:value1,token2:value2}. Il valore predefinito è vuoto.
  • readQuery: sostituisci la query SQL. Il valore predefinito è vuoto.
  • inputFilePattern: sostituisci il pattern del file di testo, ad esempio gs://your-bucket/path/*.json. Il valore predefinito è vuoto.
  • disabledAlgorithms: gli algoritmi da disattivare separati da virgola. Se questo valore è impostato su none, nessun algoritmo è disattivato. Utilizza questo parametro con cautela, perché gli algoritmi disattivati per impostazione predefinita potrebbero presentare vulnerabilità o problemi di prestazioni. Ad esempio: SSLv3, RC4.
  • extraFilesToStage: percorsi Cloud Storage separati da virgole o secret Secret Manager per i file da eseguire in staging nel worker. Questi file vengono salvati nella directory /extra_files in ogni worker. Ad esempio, gs://<BUCKET_NAME>/file.txt,projects/<PROJECT_ID>/secrets/<SECRET_ID>/versions/<VERSION_ID>.

Esegui il modello

Console

  1. Vai alla pagina Crea job da modello di Dataflow.
  2. Vai a Crea job da modello
  3. Nel campo Nome job, inserisci un nome univoco per il job.
  4. (Facoltativo) Per Endpoint a livello di regione, seleziona un valore dal menu a discesa. La regione predefinita è us-central1.

    Per un elenco delle regioni in cui puoi eseguire un job Dataflow, consulta Località di Dataflow.

  5. Nel menu a discesa Modello di flusso di dati, seleziona the Google Cloud to Neo4j template.
  6. Nei campi dei parametri forniti, inserisci i valori dei parametri.
  7. Fai clic su Esegui job.

gcloud

Nella shell o nel terminale, esegui il modello:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Google_Cloud_to_Neo4j \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       jobSpecUri=JOB_SPEC_URI,\
       neo4jConnectionUri=NEO4J_CONNECTION_URI,\

Sostituisci quanto segue:

  • JOB_NAME: un nome di job univoco a tua scelta
  • VERSION: la versione del modello che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

  • REGION_NAME: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • JOB_SPEC_URI: il percorso del file di specifica del job
  • NEO4J_CONNECTION_URI: il percorso dei metadati della connessione Neo4j

API

Per eseguire il modello utilizzando l'API REST, invia una richiesta POST HTTP. Per ulteriori informazioni sull'API e sui relativi ambiti di autorizzazione, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launchParameter": {
     "jobName": "JOB_NAME",
     "parameters": {
       "jobSpecUri": "JOB_SPEC_URI",
       "neo4jConnectionUri": "NEO4J_CONNECTION_URI",
     },
     "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Google_Cloud_to_Neo4j",
     "environment": { "maxWorkers": "10" }
  }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto Google Cloud in cui vuoi eseguire il job Dataflow
  • JOB_NAME: un nome di job univoco a tua scelta
  • VERSION: la versione del modello che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

  • LOCATION: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • JOB_SPEC_URI: il percorso del file di specifica del job
  • NEO4J_CONNECTION_URI: il percorso dei metadati della connessione Neo4j

Passaggi successivi