Azure Data Lake Storage
Il connettore Azure Data Lake Storage ti consente di connetterti ad Azure Data Lake Storage e utilizzare SQL per recuperare e aggiornare i dati di Azure Data Lake Storage.
Prima di iniziare
Prima di utilizzare il connettore Azure Data Lake Storage, esegui le seguenti attività:
- Nel tuo progetto Google Cloud:
- Assicurati che la connettività di rete sia configurata. Per informazioni sui pattern di rete, vedi Connettività di rete.
- Concedi il ruolo IAM roles/connectors.admin all'utente che configura il connettore.
- Concedi i seguenti ruoli IAM al account di servizio che vuoi utilizzare per il connettore:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
Un account di servizio è un tipo speciale di Account Google destinato a rappresentare un utente non umano che deve eseguire l'autenticazione ed essere autorizzato ad accedere ai dati nelle API di Google. Se non hai un account di servizio, devi crearne uno. Il connettore e il account di servizio devono appartenere allo stesso progetto. Per ulteriori informazioni, vedi Creare un service account.
- Attiva i seguenti servizi:
secretmanager.googleapis.com
(API Secret Manager)connectors.googleapis.com
(API Connectors)
Per capire come abilitare i servizi, consulta Abilitazione dei servizi.
Se questi servizi o autorizzazioni non sono stati attivati in precedenza per il tuo progetto, ti viene chiesto di attivarli durante la configurazione del connettore.
- Per informazioni su come creare un account di archiviazione Azure, consulta Creare un account di archiviazione. Per informazioni sulla creazione di un contenitore in Azure, vedi Creare un contenitore. Per informazioni sulla creazione di una directory in Azure, vedi Creare una directory.
Configura il connettore
Una connessione è specifica per un'origine dati. Ciò significa che se hai molte origini dati, devi creare una connessione separata per ciascuna. Per creare una connessione:
- Nella console Google Cloud, vai alla pagina Integration Connectors > Connessioni e poi seleziona o crea un progetto Google Cloud.
- Fai clic su + Crea nuovo per aprire la pagina Crea connessione.
- Nella sezione Posizione, scegli la posizione della connessione.
- Regione: seleziona una località dall'elenco a discesa.
Le regioni supportate per i connettori includono:
Per l'elenco di tutte le regioni supportate, consulta Località.
- Fai clic su Avanti.
- Regione: seleziona una località dall'elenco a discesa.
- Nella sezione Dettagli connessione, completa quanto segue:
- Connettore: seleziona Azure Data Lake Storage dall'elenco a discesa dei connettori disponibili.
- Versione del connettore: seleziona la versione del connettore dall'elenco a discesa delle versioni disponibili.
- Nel campo Nome connessione, inserisci un nome per l'istanza di connessione.
I nomi delle connessioni devono soddisfare i seguenti criteri:
- I nomi delle connessioni possono contenere lettere, numeri o trattini.
- Le lettere devono essere minuscole.
- I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
- I nomi delle connessioni non possono superare i 49 caratteri.
- (Facoltativo) Inserisci una descrizione per l'istanza di connessione.
- (Facoltativo) Abilita Cloud Logging,
quindi seleziona un livello di log. Per impostazione predefinita, il livello di log è impostato su
Error
. - Service Account: seleziona un account di servizio con i ruoli richiesti.
- (Facoltativo) Configura le impostazioni del nodo di connessione:
- Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
- Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.
Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, viceversa, sono necessari meno nodi per elaborare meno transazioni. Per capire in che modo i nodi influiscono sui prezzi dei connettori, consulta Prezzi dei nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita i nodi minimi sono impostati su 2 (per una migliore disponibilità) e i nodi massimi sono impostati su 50.
- Account: questa proprietà specifica il nome dell'account Azure Data Lake Storage.
- Directory: questa proprietà specifica il percorso principale per elencare file e cartelle.
- File System: questa proprietà specifica il nome del file system che verrà utilizzato in un account di archiviazione di seconda generazione. Ad esempio, il nome del tuo container blob Azure.
- Dimensioni chunk: le dimensioni dei chunk (in MB) da utilizzare per il caricamento di file di grandi dimensioni.
- Includi sottodirectory: scegli se i percorsi delle sottodirectory devono essere elencati nella visualizzazione Risorse nello schema ADLSGen2.
- (Facoltativo) Fai clic su + Aggiungi etichetta per aggiungere un'etichetta alla connessione sotto forma di coppia chiave/valore.
- Fai clic su Avanti.
-
Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
- Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.
La connessione Azure Data Lake Storage supporta i seguenti tipi di autenticazione:
- Firma di accesso condiviso
- Chiave di accesso all'account
- Autenticazione JWT
- Fai clic su Avanti.
Per capire come configurare questi tipi di autenticazione, consulta Configurare l'autenticazione.
- Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.
- Rivedi: rivedi i dettagli di connessione e autenticazione.
- Fai clic su Crea.
Configura l'autenticazione
Inserisci i dettagli in base all'autenticazione che vuoi utilizzare.
-
Shared Access Signature
- Firma di accesso condiviso: secret di Secret Manager contenente la firma di accesso condiviso.
-
Account Access Key
- Chiave di accesso all'account: secret di Secret Manager contenente la chiave di accesso all'account.
-
Autenticazione JWT
- ID client: l'ID client utilizzato per richiedere i token di accesso.
- Chiave privata: secret di Secret Manager contenente i contenuti del file della chiave privata in formato PEM. La chiave privata deve corrispondere alla chiave pubblica/al certificato.
- Password della chiave privata: secret di Secret Manager contenente la password (parafrasi) del file della chiave privata.
Esempi di configurazione della connessione
Questa sezione elenca i valori di esempio per i vari campi che configuri durante la creazione della connessione Azure Data Lake Storage.
Tipo di connessione con firma di accesso condiviso
Nome campo | Dettagli |
---|---|
Località | us-central1 |
Connettore | azuredatalakestorage |
Versione del connettore | 1 |
Nome collegamento | adls-gen2-conn-public |
Abilita Cloud Logging | Sì |
Service account | account@my-project.iam.gserviceaccount.com |
Account | google-cloud-dslgen3 |
Directory | directory |
File system | container |
Includi sottodirectory | No |
Numero minimo di nodi | 2 |
Numero massimo di nodi | 50 |
Firma di accesso condiviso | SHARED_ACCESS_SIGNATURE |
Versione secret | 1 |
Tipo di connessione della chiave di accesso all'account
Nome campo | Dettagli |
---|---|
Località | us-central1 |
Connettore | azuredatalakestorage |
Versione del connettore | 1 |
Nome collegamento | azure-data-lake-conn |
Abilita Cloud Logging | Sì |
Service account | account@my-project.iam.gserviceaccount.com |
Account | google-cloud-dslgen3 |
Directory | nord-america |
File system | container |
Includi sottodirectory | No |
Numero minimo di nodi | 2 |
Numero massimo di nodi | 50 |
Chiave di accesso all'account | ACCOUNT_ACCESS_KEY |
Versione secret | 1 |
Tipo di connessione di autenticazione JWT
Nome campo | Dettagli |
---|---|
Località | us-central1 |
Connettore | azuredatalakestorage |
Versione del connettore | 1 |
Nome collegamento | adls-gen2-jwt-conn |
Abilita Cloud Logging | Sì |
Service account | account@my-project.iam.gserviceaccount.com |
Account | your-adls-account-name |
Directory | nord-america |
File system | data-lake-container |
Includi sottodirectory | Sì |
Numero minimo di nodi | 2 |
Numero massimo di nodi | 50 |
Tipo di autenticazione | Autenticazione JWT |
ID client | CLIENT_ID |
Chiave privata | PRIVATE_KEY_SECRET |
Password chiave privata | PRIVATE_KEY_PASSWORD_SECRET |
Versione secret (per la chiave privata) | 1 |
Versione secret (per la password della chiave privata) | 1 |
Entità, operazioni e azioni
Tutti i connettori di integrazione forniscono un livello di astrazione per gli oggetti dell'applicazione connessa. Puoi accedere agli oggetti di un'applicazione solo tramite questa astrazione. L'astrazione ti viene mostrata come entità, operazioni e azioni.
- Entità : un'entità può essere considerata un oggetto o una raccolta di proprietà nell'applicazione o nel servizio connesso. La definizione di un'entità varia da un connettore all'altro. Ad esempio, in un connettore di database, le tabelle sono le entità, in un
connettore del file server, le cartelle sono le entità e in un connettore del sistema di messaggistica,
le code sono le entità.
Tuttavia, è possibile che un connettore non supporti o non abbia entità, nel qual caso l'elenco
Entities
sarà vuoto. - Operazione : un'operazione è l'attività che puoi eseguire su un'entità. Puoi eseguire
una delle seguenti operazioni su un'entità:
Selezionando un'entità dall'elenco disponibile, viene generato un elenco di operazioni disponibili per l'entità. Per una descrizione dettagliata delle operazioni, consulta le operazioni sulle entità dell'attività Connettori. Tuttavia, se un connettore non supporta alcuna delle operazioni sulle entità, queste operazioni non supportate non sono elencate nell'elenco
Operations
. - Azione: un'azione è una funzione di prima classe resa disponibile per l'integrazione
tramite l'interfaccia del connettore. Un'azione ti consente di apportare modifiche a una o più entità e
varia da connettore a connettore. In genere, un'azione ha alcuni parametri di input e un parametro di output. Tuttavia, è possibile
che un connettore non supporti alcuna azione, nel qual caso l'elenco
Actions
sarà vuoto.
Limitazioni di sistema
Il connettore Azure Data Lake Storage può elaborare 5 transazioni al secondo, per nodo, e limita qualsiasi transazione oltre questo limite. Per impostazione predefinita, Integration Connectors alloca due nodi (per una migliore disponibilità) per una connessione.
Per informazioni sui limiti applicabili a Integration Connectors, vedi Limiti.
Azioni
Questa sezione elenca le azioni supportate dal connettore. Per capire come configurare le azioni, consulta Esempi di azioni.
Azione DownloadFile
Questa azione ti consente di scaricare i contenuti di un determinato blob da una directory o un container.
Parametri di input dell'azione DownloadFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file (incluso il nome del file) da scaricare. Ad esempio:
|
HasBytes | Booleano | No | Indica se scaricare i contenuti come byte (formato Base64).
false .
|
Parametri di output dell'azione DownloadFile
Se l'azione va a buon fine, restituisce i contenuti del file o del blob.
Per un esempio di come configurare l'azione DownloadFile
,
consulta Esempi di azioni.
Azione CreateFile
Questa azione ti consente di creare un blob o un file in un container o una directory.
Parametri di input dell'azione CreateFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file che verrà creato. |
Per un esempio di come configurare l'azione CreateFile
,
consulta Esempi di azioni.
Azione CopyFile
Questa azione ti consente di copiare i contenuti di un file o di un blob in un altro file o blob nello stesso contenitore o nella stessa directory.
Parametri di input dell'azione CopyFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso di origine | Stringa | Sì | Il percorso del file che verrà copiato. |
DestinationPath | Stringa | Sì | Il percorso del file in cui verrà copiato. |
Per un esempio di come configurare l'azione CopyFile
,
consulta Esempi di azioni.
Azione DeleteObject
Questa azione consente di eliminare un file o un blob.
Parametri di input dell'azione Elimina oggetto
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Ricorsivo | Stringa | No | Imposta questo valore su true per eliminare tutti i contenuti della cartella, incluse le sottocartelle. |
Percorso | Stringa | Sì | Il percorso del file o della cartella da eliminare. |
DeleteType | Stringa | Sì |
|
Per un esempio di come configurare l'azione DeleteObject
,
consulta Esempi di azioni.
Azione LeaseBlob
Questa azione ti consente di creare e gestire un blocco su un blob.
Parametri di input dell'azione LeaseBlob
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file. |
LeaseAction | Stringa | Sì | Specifica l'azione di lease da eseguire. |
LeaseDuration | Numero intero | Sì | Specifica la durata del contratto di noleggio. |
Per un esempio di come configurare l'azione LeaseBlob
,
consulta Esempi di azioni.
Azione UploadFile
Questa azione consente agli utenti di caricare i contenuti in un determinato blob o contenitore.
Parametri di input dell'azione UploadFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file da caricare. |
HasBytes | Booleano | No | Se caricare i contenuti come byte. |
Contenuti | Stringa | Sì | Contenuti da caricare. |
Per un esempio di come configurare l'azione UploadFile
,
consulta Esempi di azioni.
Azione RenameObject
Questa azione ti consente di rinominare un file o una cartella.
Parametri di input dell'azione RenameObject
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso che verrà rinominato. |
RenameTo | Stringa | Sì | Il nuovo nome del file o della cartella. |
Per un esempio di come configurare l'azione RenameObject
,
consulta Esempi di azioni.
Esempi di azioni
Esempio: scaricare un file
Questo esempio scarica un file binario.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
DownloadFile
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
e poi inserisci un valore simile al seguente nel campoDefault Value
:{ "Path": "testdirectory1/test1.pdf", "HasBytes": true }
Se l'azione ha esito positivo, il parametro
DownloadFile
della risposta connectorOutputPayload
dell'attività avrà un valore simile al seguente:
[{ "Success": "True", "ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA" }]
Esempio: carica un file
Questo esempio carica i contenuti come blob.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
UploadFile
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
e poi inserisci un valore simile al seguente nel campoDefault Value
:{ "Path": "testblob4", "HasBytes": true, "Content": "abcdef\nabcdef" }
Se l'azione ha esito positivo, il parametro
UploadFile
della risposta connectorOutputPayload
dell'attività avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio: creare un file
Questo esempio crea un file nella directory specificata.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
CreateFile
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
e poi inserisci un valore simile al seguente nel campoDefault Value
:{ "path": "testdirectory1/testblob" }
Se l'azione ha esito positivo, il parametro
CreateFile
della risposta connectorOutputPayload
dell'attività avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio: copiare un file
Questo esempio copia un file da una posizione a un'altra.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
CopyFile
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
e poi inserisci un valore simile al seguente nel campoDefault Value
:{ "SourcePath": "testdirectory1/testblob", "DestinationPath": "testblob" }
Se l'azione ha esito positivo, il parametro
CopyFile
della risposta connectorOutputPayload
dell'attività avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio: elimina un blob
Questo esempio elimina il blob specificato.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
DeleteObject
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
e poi inserisci un valore simile al seguente nel campoDefault Value
:{ "path": "testdirectory1/testblob" }
Se l'azione ha esito positivo, il parametro
DeleteObject
della risposta connectorOutputPayload
dell'attività avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio: noleggiare un blob
Questo esempio acquisisce in lease il blob specificato.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
LeaseBlob
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
e poi inserisci un valore simile al seguente nel campoDefault Value
:{ "Path": "testblob2", "LeaseAction": "Acquire", "LeaseDuration": 60.0 }
Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload
dell'attività LeaseBlob
avrà un valore simile al seguente:
[{ "LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493", "Success": "true" }]
Esempio: rinominare un blob
Questo esempio rinomina un blob.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
RenameObject
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
e poi inserisci un valore simile al seguente nel campoDefault Value
:{ "Path": "testblob", "RenameTo": "testblob6" }
Se l'azione ha esito positivo, il parametro
RenameObject
della risposta connectorOutputPayload
dell'attività avrà un valore simile al seguente:
[{ "Success": true }]
Esempi di operazioni sulle entità
Questa sezione mostra come eseguire alcune delle operazioni sulle entità in questo connettore.
Esempio: elenca tutti i record
Questo esempio elenca tutti i record nell'entità Resource
.
- Nella finestra di dialogo
Configure connector task
, fai clic suEntities
. - Seleziona
Resource
dall'elencoEntity
. - Seleziona l'operazione
List
, quindi fai clic su Fine. - (Facoltativo) Nella sezione Input attività dell'attività Connettori, puoi filtrare il set di risultati specificando una clausola di filtro. Specifica il valore della clausola di filtro sempre tra virgolette singole (').
Esempio: recuperare un record
Questo esempio recupera un record con l'ID specificato dall'entità Resource
.
- Nella finestra di dialogo
Configure connector task
, fai clic suEntities
. - Seleziona
Resource
dall'elencoEntity
. - Seleziona l'operazione
Get
, quindi fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su EntityId e
poi inserisci
testdirectory1/testblob1
nel campo Valore predefinito.In questo caso,
testdirectory1/testblob1
è un ID record univoco nell'entitàResource
.
Utilizzare la connessione Azure Data Lake Storage in un'integrazione
Una volta creata la connessione, questa diventa disponibile sia in Apigee Integration che in Application Integration. Puoi utilizzare la connessione in un'integrazione tramite l'attività Connettori.
- Per capire come creare e utilizzare l'attività Connettori in Apigee Integration, consulta Attività Connettori.
- Per capire come creare e utilizzare l'attività Connettori in Application Integration, vedi Attività Connettori.
Ricevere assistenza dalla community Google Cloud
Puoi pubblicare le tue domande e discutere di questo connettore nella community di Google Cloud nei forum di Cloud.Passaggi successivi
- Scopri come sospendere e ripristinare una connessione.
- Scopri come monitorare l'utilizzo dei connettori.
- Scopri come visualizzare i log dei connettori.