Questa pagina descrive le direttive che puoi utilizzare in Wrangler.
Nella modalità Power di Wrangler (l'interfaccia a riga di comando di Wrangler), puoi aggiungere direttive e funzioni a una ricetta. Per ulteriori informazioni, consulta Istruzioni della CLI di Wrangler e Funzioni di Wrangler.
Wrangler supporta le seguenti direttive:
Operazioni sulle colonne
Direttiva | Descrizione |
---|---|
Modificare la cassetta della colonna | Modifica i nomi delle colonne in lettere minuscole o maiuscole. |
Cambiare custodia | Modifica la modalità di scrittura dei valori delle colonne. |
Pulizia dei nomi delle colonne | Sanifica i nomi delle colonne seguendo regole specifiche. |
Colonne Sostituisci | Modifica collettivamente i nomi delle colonne. |
Copy | Copia i valori da una colonna di origine in una colonna di destinazione. |
Colonna inserisci | Elimina una colonna in un record. |
Riempi con valore Null o vuoto | Se il valore è null o vuoto, inserisci un valore di colonna fisso. |
Keep | Mantiene le colonne specificate del record. |
Unisci | Unisce due colonne inserendo una terza colonna. |
Rinomina | Rinomina una colonna esistente nel record. |
Imposta intestazioni | Imposta i nomi delle colonne nell'ordine in cui sono specificati. |
Dividi in colonne | Suddivide una colonna in più colonne in base a un separatore. |
Scambio | Scambia i nomi di due colonne. |
Tipo di set | Converte il tipo di dati di una colonna. |
Trasformazioni delle date
Direttiva | Descrizione |
---|---|
Diff Date | Calcola la differenza tra due date. |
Formato Data | Pattern personalizzati per la formattazione di date e ore. |
Formattare il timestamp UNIX | Formatta un timestamp UNIX come data. |
Trasformazioni di date e ore
Direttiva | Descrizione |
---|---|
Data e ora correnti | Genera la data e l'ora correnti con un determinato fuso orario. |
Data/ora a Timestamp | Crea un timestamp da data e ora e da un fuso orario specificato. |
Formato Data/ora | Formatta la data/ora in una stringa di un determinato formato. |
Timestamp to Datetime | Converte un timestamp in data/ora. |
Codificatori e decodificatori
Direttiva | Descrizione |
---|---|
Decodifica | Decodifica un valore di colonna come base32 ,
base64 o hex. |
Codifica | Codifica un valore di colonna come base32 ,
base64 o hex. |
Hashing e mascheramento
Direttiva | Descrizione |
---|---|
Hash | Genera un digest dei messaggi. |
Numero maschera | Applica la maschera di sostituzione ai valori delle colonne. |
Riproduzione casuale con maschera | Applica la mascheratura con l'ordinamento casuale ai valori delle colonne. |
Le ricerche
Direttiva | Descrizione |
---|---|
Catalogo di ricerca | Ricerca nel catalogo statico dei codici ICD-9, ICD-10-2016 e ICD-10-2017. |
Ricerca tabella | Esegue ricerche nei set di dati di tabelle. |
Elaborazione del linguaggio naturale
Direttiva | Descrizione |
---|---|
Stemming Parole tokenizzate | Applica l'algoritmo di derivazione di Porter per le parole inglesi. |
Formattatori di output
Direttiva | Descrizione |
---|---|
Scrivere come CSV | Converte un record in formato CSV. |
Scrivere come mappa JSON | Converte il record in una mappa JSON. |
Scrivere un oggetto JSON | Compone un oggetto JSON in base ai campi specificati. |
Formatta come valuta | Formatta un numero come valuta in base alle impostazioni internazionali. |
Parser
Direttiva | Descrizione |
---|---|
Percorso JSON | Utilizza un DSL (un'espressione di percorso JSON) per analizzare i record JSON. |
Esegui l'analisi come file | Analizza un file di dati AVRO. |
Esegui l'analisi come CSV | Analizza un record di input come valori separati da virgole |
Esegui analisi sintattica come valuta | Analizza un valore valuta che è una rappresentazione di stringa della valuta locale in un numero. |
Esegui l'analisi come Data/ora | Analizza la stringa come tipo di dati datetime con un determinato formato. |
Esegui analisi come Excel | Analizza un file Microsoft Excel. |
Esegui analisi sintattica come Lunghezza fissa | Viene analizzato come record a lunghezza fissa con larghezze specificate. |
Esegui analisi sintattica come HL7 | Analizza i messaggi Health Level 7 Version 2 (HL7 V2). |
Esegui analisi come JSON | Analizza un oggetto JSON. |
Esegui analisi sintattica come log | Analizza i file di log di accesso, ad esempio i server Apache httpd e NGINX. |
Esegui analisi sintattica come data semplice | Analizza le stringhe di date. |
Esegui l'analisi come timestamp | Analizza i valori di colonna che rappresentano il timestamp Unix come data. |
Eseguire l'analisi di XML in JSON | Analizza un documento XML in una struttura JSON. |
Operazioni sulle righe
Direttiva | Descrizione |
---|---|
Filtra le righe | Filtra i record in base a una condizione. |
Filtra riga se corrispondenza | Filtra le righe che corrispondono a un pattern per una colonna. |
Appiatti | Separa gli elementi in un campo ripetuto. |
Fallo su condizione | L'elaborazione non va a buon fine quando la condizione viene valutata come true. |
Errore di Invia a | Filtra i record in un collettore di errori. |
Invia a Errore e continua l'elaborazione | Filtra i record in un collettore di errori e continua l'elaborazione. |
Dividi in righe | Suddivide in più record in base a un separatore. |
Trasformazioni
Direttiva | Descrizione |
---|---|
Cambiare custodia | Modifica la modalità maiuscole/minuscole dei valori di colonna in caratteri maiuscoli o minuscoli. |
Crea record | Crea una colonna di record con valori nidificati copiando i valori dalle colonne di origine in una colonna di destinazione. |
Taglia carattere | Consente di selezionare parti di un valore di stringa. |
Imposta colonna | Imposta il valore della colonna sul risultato dell'esecuzione di un'espressione. |
Trova e sostituisci | Trasforma i valori delle colonne di stringhe utilizzando un'espressione simile a "sed". |
Quantizzazione | Applica la quantizzazione ai valori delle colonne. |
Estrazione di gruppi di espressioni regolari | Estrae i dati da un gruppo di espressioni regolari in una colonna distinta. |
Imposta Charset | Imposta la codifica e poi converte i dati in una stringa UTF-8. |
Imposta delimitatore record | Imposta il delimitatore dei record. |
Email suddivisa | Suddivide un ID email in un account e nel relativo dominio. |
URL suddiviso | Suddivide un URL nei suoi componenti. |
Distanza del testo (corrispondenza stringa approssimativa) | Misura la differenza tra due sequenze di caratteri. |
Metrica testo (corrispondenza stringa approssimativa) | Misura la differenza tra due sequenze di caratteri. |
Decodifica URL | Decodifica dal formato MIME application/x-www-form-urlencoded . |
Codifica URL | Codifica nel formato MIME application/x-www-form-urlencoded . |
Tagliare gli spazi | Funzioni per tagliare gli spazi vuoti intorno ai dati di stringa. |
Aggregatori e setter temporanei
Direttiva | Descrizione |
---|---|
Variabile di incremento | Aumenta una variabile transitoria con un record di elaborazione. |
Imposta variabile | Imposta una variabile transitoria con un record dell'elaborazione. |
ID univoco
Direttiva | Descrizione |
---|---|
Genera UUID | Genera un identificatore univoco universale (UUID). |
Passaggi successivi
- Scopri di più sulle funzioni di Wrangler.