HDFS

Il connettore HDFS consente di eseguire azioni di inserimento, eliminazione, aggiornamento e lettura sui dati HDFS.

Versioni supportate

Questo connettore supporta HDFS Hadoop versione 3.4.0.

Prima di iniziare

Prima di utilizzare il connettore HDFS, esegui le seguenti operazioni:

  • Nel tuo progetto Google Cloud:
    • Concedi il ruolo IAM roles/connectors.admin all'utente che configura il connettore.
    • Concedi i seguenti ruoli IAM al account di servizio che vuoi utilizzare per il connettore:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Un account di servizio è un tipo speciale di Account Google destinato a rappresentare un utente non umano che deve eseguire l'autenticazione ed essere autorizzato ad accedere ai dati nelle API di Google. Se non hai un account di servizio, devi crearne uno. Per maggiori informazioni, vedi Creare un service account.

    • Attiva i seguenti servizi:
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Per capire come abilitare i servizi, consulta Abilitazione dei servizi.

    Se questi servizi o queste autorizzazioni non sono stati attivati in precedenza per il tuo progetto, ti viene chiesto di attivarli durante la configurazione del connettore.

Configura il connettore

Una connessione è specifica per un'origine dati. Ciò significa che se hai molte origini dati, devi creare una connessione separata per ciascuna origine dati. Per creare una connessione:

  1. Nella console Cloud, vai alla pagina Integration Connectors > Connessioni e poi seleziona o crea un progetto Google Cloud.

    Vai alla pagina Connessioni

  2. Fai clic su + CREA NUOVA per aprire la pagina Crea connessione.
  3. Nella sezione Località, scegli la località per la connessione.
    1. Regione: seleziona una località dall'elenco a discesa.

      Per l'elenco di tutte le regioni supportate, consulta Località.

    2. Fai clic su AVANTI.
  4. Nella sezione Dettagli connessione, completa quanto segue:
    1. Connettore: seleziona HDFS dall'elenco a discesa dei connettori disponibili.
    2. Versione del connettore: seleziona la versione del connettore dall'elenco a discesa delle versioni disponibili.
    3. Nel campo Nome connessione, inserisci un nome per l'istanza di connessione.

      I nomi delle connessioni devono soddisfare i seguenti criteri:

      • I nomi delle connessioni possono contenere lettere, numeri o trattini.
      • Le lettere devono essere minuscole.
      • I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
      • I nomi delle connessioni non possono contenere più di 49 caratteri.
    4. (Facoltativo) Inserisci una Descrizione per l'istanza di connessione.
    5. (Facoltativo) Abilita Cloud Logging, quindi seleziona un livello di log. Per impostazione predefinita, il livello di log è impostato su Error.
    6. Service Account: seleziona un account di servizio con i ruoli richiesti.
    7. Percorso: specifica il percorso HDFS da utilizzare come directory di lavoro.
    8. (Facoltativo) Configura le impostazioni del nodo di connessione:

      • Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
      • Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.

      Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, viceversa, sono necessari meno nodi per elaborare meno transazioni. Per capire in che modo i nodi influiscono sui prezzi dei connettori, consulta la sezione Prezzi dei nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita i nodi minimi sono impostati su 2 (per una migliore disponibilità) e i nodi massimi su 50.

    9. (Facoltativo) Fai clic su + AGGIUNGI ETICHETTA per aggiungere un'etichetta alla connessione sotto forma di coppia chiave/valore.
    10. Fai clic su AVANTI.
  5. Nella sezione Destinazioni, inserisci i dettagli dell'host remoto (sistema di backend) a cui vuoi connetterti.
    1. Tipo di destinazione: seleziona un Tipo di destinazione.
      • Per specificare il nome host o l'indirizzo IP di destinazione, seleziona Indirizzo host e inserisci l'indirizzo nel campo Host 1.
      • Per stabilire una connessione privata, seleziona Collegamento endpoint e scegli il collegamento richiesto dall'elenco Collegamento endpoint.

      Se vuoi stabilire una connessione pubblica ai tuoi sistemi di backend con maggiore sicurezza, puoi valutare la possibilità di configurare indirizzi IP statici in uscita per le tue connessioni e poi configurare le regole del firewall in modo da consentire solo gli indirizzi IP statici specifici.

      Per inserire altre destinazioni, fai clic su +AGGIUNGI DESTINAZIONE.

    2. Fai clic su AVANTI.
  6. Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
    1. Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.

      La connessione HDFS supporta i seguenti tipi di autenticazione:

      • Nome utente e password

      Per capire come configurare questi tipi di autenticazione, consulta Configurare l'autenticazione.

    2. Fai clic su AVANTI.
  7. Rivedi: rivedi i dettagli di connessione e autenticazione.
  8. Fai clic su Crea.

Configura l'autenticazione

Inserisci i dettagli in base all'autenticazione che vuoi utilizzare.

  • Nome utente e password
    • Nome utente: inserisci il nome utente da utilizzare per la connessione HDFS.
    • Password : inserisci il secret di Secret Manager contenente la password associata al nome utente.
    • Versione del secret: seleziona la versione del secret per il secret selezionato sopra.

Esempi di configurazione della connessione

Questa sezione elenca i valori di esempio per i vari campi che configuri durante la creazione della connessione.

Tipo di connessione con nome utente e password

Nome campo Dettagli
Località europe-west1
Connettore HDFS
Versione del connettore 1
Nome collegamento hdfs-v24-new
Service account my-service-account@my-project.iam.gserviceaccount.com
Numero minimo di nodi 2
Numero massimo di nodi 2
Tipo di destinazione Indirizzo host
Host 10.128.0.
port1 10000
Nome utente utente1
Password PASSWORD
Versione secret 1

Limitazioni di sistema

Il connettore HDFS può elaborare un massimo di 20 transazioni al secondo, per nodo e limita le transazioni oltre questo limite. Per impostazione predefinita, Integration Connectors alloca due nodi (per una migliore disponibilità) per una connessione.

Per informazioni sui limiti applicabili a Integration Connectors, vedi Limiti.

Utilizzare la connessione HDFS in un'integrazione

Una volta creata la connessione, questa diventa disponibile sia in Apigee Integration che in Application Integration. Puoi utilizzare la connessione in un'integrazione tramite l'attività Connettori.

  • Per capire come creare e utilizzare l'attività Connettori in Apigee Integration, consulta Attività Connettori.
  • Per capire come creare e utilizzare l'attività Connettori in Application Integration, consulta Attività Connettori.

Azioni

Questa sezione mostra come eseguire alcune delle azioni in questo connettore.

Azione MakeDirectory

Questa azione crea una directory nel percorso specificato.

Parametri di input dell'azione MakeDirectory

Nome parametro Tipo di dati Obbligatorio Descrizione
Autorizzazione Stringa Falso Le autorizzazioni per creare una nuova directory.
Percorso Stringa Vero Il percorso della nuova directory.

Per un esempio su come configurare l'azione MakeDirectory, vedi Esempi.

Azione ListStatus

Questa azione elenca i contenuti del percorso fornito.

Parametri di input dell'azione ListStatus

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Vero Il percorso del file.

Per un esempio su come configurare l'azione ListStatus, vedi Esempi.

Azione GetHomeDirectory

Questa azione recupera la home directory dell'utente corrente.

Parametri di input dell'azione GetHomeDirectory

Nome parametro Tipo di dati Obbligatorio Descrizione
connectorInputPayload Json Vero Il payload di input del connettore.

Per un esempio su come configurare l'azione GetHomeDirectory, vedi Esempi.

Azione DeleteFile

Questa azione elimina un file o una directory.

Parametri di input dell'azione DeleteFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Vero Il percorso del file.
Ricorsivo Booleano Falso Specifica se eliminare le sottocartelle di una cartella.

Per un esempio su come configurare l'azione DeleteFile, consulta Esempi.

Azione GetContentSummary

Questa azione recupera il riepilogo dei contenuti di un file o di una cartella.

Parametri di input dell'azione GetContentSummary

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Vero Il percorso del file o della cartella.

Per un esempio su come configurare l'azione GetContentSummary, consulta Esempi.

Azione RenameFile

Questa azione rinomina un file o una directory.

Parametri di input dell'azione RenameFile

Nome parametro Tipo di dati Obbligatorio Descrizione
percorso Stringa Vero Il percorso del file.
destinazione Stringa Vero Specifica il nuovo nome e il nuovo percorso del file.

Per un esempio su come configurare l'azione RenameFile, consulta Esempi.

Azione SetPermission

Questa azione imposta l'autorizzazione di un percorso.

Parametri di input dell'azione SetPermission

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Vero Il percorso del file.
Autorizzazione Stringa Vero Specifica le autorizzazioni Unix in notazione ottale (base 8).

Per un esempio su come configurare l'azione SetPermission, vedi Esempi.

Azione SetPermission

Questa azione imposta l'autorizzazione di un percorso.

Parametri di input dell'azione SetPermission

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Vero Il percorso del file.
Autorizzazione Stringa Vero Specifica le autorizzazioni Unix in notazione ottale (base 8).

Per un esempio su come configurare l'azione SetPermission, vedi Esempi.

Azione SetOwner

Questa azione imposta un proprietario e un gruppo di un percorso.

Parametri di input dell'azione SetOwner

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Vero Il percorso del file.
Proprietario Stringa Vero Il nuovo proprietario del percorso.
gruppo Stringa Falso Il nome del nuovo gruppo.

Per un esempio su come configurare l'azione SetOwner, vedi Esempi.

Azione UploadFile

Questa azione carica un file.

Parametri di input dell'azione UploadFile

Nome parametro Tipo di dati Obbligatorio Descrizione
percorso Stringa Vero Il percorso del file.
Contenuti Stringa Vero Il contenuto del file caricato.

Per un esempio su come configurare l'azione UploadFile, vedi Esempi.

Azione DownloadFile

Questa azione scarica un file.

Parametri di input dell'azione DownloadFile

Nome parametro Tipo di dati Obbligatorio Descrizione
percorso Stringa Vero Il percorso del file.
WriteToFile Stringa Falso La posizione locale del file in cui viene scritto l'output.

Per un esempio su come configurare l'azione DownloadFile, vedi Esempi.

Azione AppendToFile

Questa azione aggiunge un file.

Parametri di input dell'azione AppendToFile

Nome parametro Tipo di dati Obbligatorio Descrizione
percorso Stringa Vero Il percorso del file.
Contenuti Stringa Vero I contenuti da aggiungere al file.

Per un esempio su come configurare l'azione AppendToFile, vedi Esempi.

Azione GetFileChecksum

Questa azione recupera il checksum di un file.

Parametri di input dell'azione GetFileChecksum

Nome parametro Tipo di dati Obbligatorio Descrizione
percorso Stringa Vero Il percorso del file.

Per un esempio su come configurare l'azione GetFileChecksum, vedi Esempi.

Esempi di azioni

Questa sezione mostra come eseguire alcuni degli esempi di azioni in questo connettore.

Esempio: creare una directory

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione MakeDirectory, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    {
  "Path": "/user/hduser"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "Success": true
}]

Esempio: recuperare la home directory

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione GetHomeDirectory, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
      {}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "Path": "/user/hduser"
}]

Esempio: eliminare un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione DeleteFile, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    {
  "Path": "/user/hduser/testFile"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "Success": true
}]

Esempio: elenco dello stato di un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione ListStatus, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    {
  "path": "/user/hduser/deletefile"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "fileId": 16471.0,
  "PathSuffix": "data.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 38.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.921",
  "accessTime": "2024-08-16 16:12:01.888",
  "type": "FILE"
}, {
  "fileId": 16469.0,
  "PathSuffix": "file2.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 53.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.762",
  "accessTime": "2024-08-16 16:12:01.447",
  "type": "FILE"
}]

Esempio: ottenere il riepilogo dei contenuti di un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione GetContentSummary, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    {
  "Path": "/user/hduser/appendtofile"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

      [{
  "DirectoryCount": "1",
  "FileCount": "1",
  "Length": 52.0,
  "Quota": -1.0,
  "SpaceConsumed": 52.0,
  "SpaceQuota": -1.0,
  "ecpolicy": "",
  "snapshotdirectorycount": "0",
  "snapshotfilecount": "0",
  "snapshotlength": "0",
  "snapshotspaceconsumed": "0"
}]

Esempio: rinominare un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione hdfs_RenameFile_action, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    {
  "Path": "/user/hduser/renamefile_second/file1.txt",
  "Destination": "/user/hduser/renamefile_second/file1rename"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "Success": true
}]

Esempio: impostare l'autorizzazione di un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione SetPermission, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Permission": "777"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "Success": true
}]

Esempio: impostare il proprietario di un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione SetOwner, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Owner": "newowner"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "Success": true
}]

Esempio: carica un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione UploadFile, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
       { "Path": "/user/newfile9087.txt", "Content": "string" }

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [{
  "Success": true
}]

Esempio: scaricare un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione DownloadFile, quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [ { "Output": "This is sample File\nfor this testing\ncontent" } ]

Esempio: accodare un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione AppendToFile , quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    { "Path": "/user/sampleFile/file1.txt", "Content": "content" }

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [ { "Success": true } ]

Esempio: ottenere il checksum di un file

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione GetFileChecksum , quindi fai clic su Fine.
  3. Nella sezione Mappatura dei dati Open Data Mapping Editor e poi inserisci un valore simile al seguente nel campo Input: 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività del connettore avrà un valore simile al seguente:

    [ { "Algorithm": "MD5-of-0MD5-of-512CRC32C", "Bytes": "00000200000000000000000080f5b53ae8c165ae56e86109b8bb2a1700000000", "Length": 28 } ]

Esempi di operazioni sulle entità

Questa sezione mostra come eseguire alcune delle operazioni sulle entità in questo connettore.

Esempio: elenca i dati di tutti i file

Questo esempio recupera i dati di tutti i file nell'entità Files.

  1. Nella finestra di dialogo Configure connector task, fai clic su Entities.
  2. Seleziona Object dall'elenco Entity.
  3. Seleziona l'operazione List, quindi fai clic su Fine.

Esempio: recuperare i dati di un'autorizzazione

Questo esempio recupera i dati dell'autorizzazione con l'ID specificato dall'entità Permission.

  1. Nella finestra di dialogo Configure connector task, fai clic su Entities.
  2. Seleziona Permission dall'elenco Entity.
  3. Seleziona l'operazione Get, quindi fai clic su Fine.
  4. Nella sezione Input attività dell'attività Connettori, fai clic su EntityId e poi inserisci /user/hduser/appendfile nel campo Valore predefinito.

    In questo caso, /user/hduser/appendfile è un ID univoco nell'entità Permission.

Ricevere assistenza dalla community Google Cloud

Puoi pubblicare le tue domande e discutere di questo connettore nella community di Google Cloud nei forum di Cloud.

Passaggi successivi