Diseña y crea una canalización reutilizable

Implementa el complemento set de argumentos de Cloud Storage

1. En la interfaz web de Cloud Data Fusion, ve a la página Studio.

2. En el menú Acciones, haz clic en Método set de argumentos de GCS.

Lee desde Cloud Storage

1. En la interfaz web de Cloud Data Fusion, ve a la página Studio.
2. Haz clic en arrow_drop_down. Origen y selecciona Cloud Storage. El nodo de una fuente de Cloud Storage aparece en la canalización.

3. En el nodo de Cloud Storage, haz clic en Properties.

   

4. En el campo Nombre de referencia, ingresa un nombre.

5. En el campo Ruta de acceso, ingresa ${input.path}. Esta macro controla cuál será la ruta de acceso de entrada de Cloud Storage en las diferentes ejecuciones de la canalización.

6. En el panel Output Schema (Esquema de salida), quita el campo offset del resultado. del esquema haciendo clic en el ícono de papelera en la fila del campo de desplazamiento.

   

7. Haz clic en Validar y corrige cualquier error.

8. Haz clic en close para salir de Properties. .

Transforma tus datos

1. En la interfaz web de Cloud Data Fusion, ve a tu canalización de datos en la página de Studio.
2. En el menú desplegable Transform arrow_drop_down, haz lo siguiente: selecciona Wrangler.
3. En el lienzo de Pipeline Studio, arrastra una flecha desde el nodo de Cloud Storage. al nodo Wrangler.

   

4. Ve al nodo de Wrangler en tu canalización y haz clic en Properties.
5. En el Nombre del campo de entrada, ingresa body.
6. En el campo Receta, ingresa ${directives}. Esta macro controla cuál será la lógica de transformación en las diferentes ejecuciones de canalizaciones.

   

7. Haz clic en Validar y corrige los errores.
8. Haz clic en close para salir de Properties. .

Escribir en Cloud Storage

1. En la interfaz web de Cloud Data Fusion, ve a tu canalización de datos en la página Studio.
2. En el menú desplegable Receptor arrow_drop_down, selecciona Cloud Storage.
3. En el lienzo de Pipeline Studio, arrastra una flecha desde el nodo de Wrangler hasta de Cloud Storage que acabas de agregar.

   

4. Ve al nodo receptor de Cloud Storage en tu canalización y haz clic en Properties.
5. En el campo Nombre de referencia, ingresa un nombre.
6. En el campo Ruta de acceso, ingresa la ruta de un depósito de Cloud Storage en tu proyecto, en el que tu canalización puede escribir los archivos de salida. Si no tienes un depósito de Cloud Storage, crea uno.

   

7. Haz clic en Validar y corrige cualquier error.
8. Haz clic en close para salir del diálogo Properties.

Establece los argumentos de macro

1. En la interfaz web de Cloud Data Fusion, ve a tu canalización de datos en la página Studio.
2. En arrow_drop_down En el menú desplegable Condiciones y acciones, haz clic en Método set de argumentos de GCS.
3. En el lienzo de Pipeline Studio, arrastra una flecha desde el nodo set de argumentos de Cloud Storage hasta el nodo fuente de Cloud Storage.

   

4. Ve al nodo set de argumentos de Cloud Storage en tu canalización y haz clic en Propiedades.

5. En el campo URL, ingresa la siguiente URL:

   gs://reusable-pipeline-tutorial/args.json
   

   La URL corresponde a un objeto de acceso público en Cloud Storage que incluye el siguiente contenido:

   {
     "arguments" : [
       {
         "name": "input.path",
         "value": "gs://reusable-pipeline-tutorial/user-emails.txt"
       },
       {
         "name": "directives",
         "value": "send-to-error !dq:isEmail(body)"
       }
     ]
   }
   

   El primero de los dos argumentos es el valor de input.path. La ruta de acceso gs://reusable-pipeline-tutorial/user-emails.txt es un objeto de acceso público en Cloud Storage que contiene los siguientes datos de prueba:

   alice@example.com
   bob@example.com
   craig@invalid@example.com
   

   El segundo argumento es el valor de directives. El valor send-to-error !dq:isEmail(body) configura Wrangler para filtrar cualquier línea que no sea una dirección de correo electrónico válida. Por ejemplo, se filtra craig@invalid@example.com.

6. Haz clic en Validar para asegurarte de que no haya ningún error.

7. Haz clic en close para salir de Properties. .

Implementa y ejecuta la canalización

1. En la barra superior de la página de Pipeline Studio, haz clic en Asignar un nombre a la canalización. Asígnele un nombre a la canalización y haz clic en Guardar.

2. Haz clic en Implementar.

3. Para abrir los Argumentos del entorno de ejecución y ver la macro (entorno de ejecución), haz lo siguiente: input.path y directives, haz clic en el ícono arrow_drop_down desplegable junto a Ejecutar.

   Deja los campos de valor en blanco para notificar a Cloud Data Fusion que el El nodo set de argumentos de Cloud Storage de la canalización establecerá los valores de estos argumentos durante el tiempo de ejecución.

   

4. Haz clic en Ejecutar.