Esta página se ha traducido con Cloud Translation API.

Flujo de trabajo con Cloud Run Functions

Antes de empezar

Si aún no lo has hecho, configura un Google Cloud proyecto y dos (2) segmentos de Cloud Storage.

Configurar el proyecto

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Crear o usar dos segmentos de Cloud Storage en tu proyecto

Necesitarás dos segmentos de Cloud Storage en tu proyecto: uno para los archivos de entrada y otro para los de salida.

In the Google Cloud console, go to the Cloud Storage Buckets page.
Go to Buckets
Click Create.
On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
1. In the Get started section, do the following:
  - Enter a globally unique name that meets the bucket naming requirements.
  - To add a bucket label, expand the Labels section (), click Add label, and specify a key and a value for your label.
2. In the Choose where to store your data section, do the following:
  1. Select a Location type.
  2. Choose a location where your bucket's data is permanently stored from the Location type drop-down menu.
    - If you select the dual-region location type, you can also choose to enable turbo replication by using the relevant checkbox.
  3. To set up cross-bucket replication, select Add cross-bucket replication via Storage Transfer Service and follow these steps:
    Set up cross-bucket replication
    
    In the Bucket menu, select a bucket.
    
    In the Replication settings section, click Configure to configure settings for the replication job.
    
    The Configure cross-bucket replication pane appears.
    
    To filter objects to replicate by object name prefix, enter a prefix that you want to include or exclude objects from, then click Add a prefix.
    
    To set a storage class for the replicated objects, select a storage class from the Storage class menu. If you skip this step, the replicated objects will use the destination bucket's storage class by default.
    
    Click Done.
3. In the Choose how to store your data section, do the following:
  1. Select a default storage class for the bucket or Autoclass for automatic storage class management of your bucket's data.
  2. To enable hierarchical namespace, in the Optimize storage for data-intensive workloads section, select Enable hierarchical namespace on this bucket.
    Note: You cannot enable hierarchical namespace in existing buckets.
4. In the Choose how to control access to objects section, select whether or not your bucket enforces public access prevention, and select an access control method for your bucket's objects.
  Note: You cannot change the Prevent public access setting if this setting is enforced at an organization policy.
5. In the Choose how to protect object data section, do the following:
  - Select any of the options under Data protection that you want to set for your bucket.
    - To enable soft delete, click the Soft delete policy (For data recovery) checkbox, and specify the number of days you want to retain objects after deletion.
    - To set Object Versioning, click the Object versioning (For version control) checkbox, and specify the maximum number of versions per object and the number of days after which the noncurrent versions expire.
    - To enable the retention policy on objects and buckets, click the Retention (For compliance) checkbox, and then do the following:
      - To enable Object Retention Lock, click the Enable object retention checkbox.
      - To enable Bucket Lock, click the Set bucket retention policy checkbox, and choose a unit of time and a length of time for your retention period.
  - To choose how your object data will be encrypted, expand the Data encryption section (), and select a Data encryption method.
Click Create.

Crear plantilla de flujo de trabajo

Para crear y definir una plantilla de flujo de trabajo, copia y ejecuta los siguientes comandos en una ventana de terminal local o en Cloud Shell.

Crea la plantilla de flujo de trabajo.

  gcloud dataproc workflow-templates create wordcount-template \
      --region=us-central1

Añade la tarea de recuento de palabras a la plantilla de flujo de trabajo.
1. Especifica tu output-bucket-name antes de ejecutar el comando (tu función proporcionará el segmento de entrada). Después de insertar el nombre del segmento de salida, el argumento del segmento de salida debería tener este aspecto: gs://your-output-bucket/wordcount-output".
2. El ID del paso "count" es obligatorio e identifica la tarea de Hadoop añadida.
```
          gcloud dataproc workflow-templates add-job hadoop \
              --workflow-template=wordcount-template \
              --step-id=count \
              --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
              --region=us-central1 \
              -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
        
```
Usa un clúster gestionado de un solo nodo para ejecutar el flujo de trabajo. Dataproc creará el clúster, ejecutará el flujo de trabajo en él y, a continuación, eliminará el clúster cuando se complete el flujo de trabajo.
```
    gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
        --cluster-name=wordcount \
        --single-node \
        --region=us-central1
    
```
Haz clic en el nombre de wordcount-template en la página Flujos de trabajo de Dataproc en la consola de Google Cloud para abrir la página Detalles de la plantilla de flujo de trabajo. Confirma los atributos de wordcount-template.

Parametrizar la plantilla de flujo de trabajo

Parametriza la variable del segmento de entrada para pasarla a la plantilla de flujo de trabajo.

Exporta la plantilla de flujo de trabajo a un archivo de texto wordcount.yaml para parametrizarla.

gcloud dataproc workflow-templates export wordcount-template \
    --destination=wordcount.yaml \
    --region=us-central1

Con un editor de texto, abre wordcount.yaml y, a continuación, añade un bloque parameters al final del archivo YAML para que el valor de INPUT_BUCKET_URI de Cloud Storage se pueda transferir como args[1] al archivo binario wordcount cuando se active el flujo de trabajo.
A continuación, se muestra un archivo YAML exportado de ejemplo. Puedes actualizar tu plantilla de dos formas:
1. Copia y pega todo el archivo para sustituir el archivo wordcount.yaml exportado después de sustituir your-output_bucket por el nombre de tu segmento de salida.
2. Copia y pega solo la sección parameters al final del archivo wordcount.yaml exportado.
.
```
jobs:
- hadoopJob:
    args:
    - wordcount
    - gs://input-bucket
    - gs://your-output-bucket/wordcount-output
    mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
  stepId: count
placement:
  managedCluster:
    clusterName: wordcount
    config:
      softwareConfig:
        properties:
          dataproc:dataproc.allow.zero.workers: 'true'
parameters:
- name: INPUT_BUCKET_URI
  description: wordcount input bucket URI
  fields:
  - jobs['count'].hadoopJob.args[1]
```

Importa el archivo de texto wordcount.yaml parametrizado. Escribe "Y" cuando se te pregunte si quieres sobrescribir la plantilla.

gcloud dataproc workflow-templates import  wordcount-template \
    --source=wordcount.yaml \
    --region=us-central1

Crear una función de Cloud

Abre la página Funciones de Cloud Run en laGoogle Cloud consola y, a continuación, haz clic en CREAR FUNCIÓN.
En la página Crear función, introduce o selecciona la siguiente información:
1. Nombre: recuento de palabras
2. Memoria asignada: mantén la selección predeterminada.
3. Activador:
  - Cloud Storage
  - Tipo de evento: Finalizar/Crear
  - Segmento: selecciona el segmento de entrada (consulta Crear un segmento de Cloud Storage en tu proyecto). Cuando se añada un archivo a este contenedor, la función activará el flujo de trabajo. El flujo de trabajo ejecutará la aplicación de recuento de palabras, que procesará todos los archivos de texto del bucket.
4. Código fuente:
  - Editor insertado
  - Tiempo de ejecución: Node.js 8
  - Pestaña INDEX.JS: sustituye el fragmento de código predeterminado por el siguiente código y, a continuación, edita la línea const projectId para proporcionar -your-project-id- (sin "-" al principio ni al final).
```
const dataproc = require('@google-cloud/dataproc').v1;

exports.startWorkflow = (data) => {
 const projectId = '-your-project-id-'
 const region = 'us-central1'
 const workflowTemplate = 'wordcount-template'

const client = new dataproc.WorkflowTemplateServiceClient({
   apiEndpoint: `${region}-dataproc.googleapis.com`,
});

const file = data;
console.log("Event: ", file);

const inputBucketUri = `gs://${file.bucket}/${file.name}`;

const request = {
  name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
  parameters: {"INPUT_BUCKET_URI": inputBucketUri}
};

client.instantiateWorkflowTemplate(request)
  .then(responses => {
    console.log("Launched Dataproc Workflow:", responses[1]);
  })
  .catch(err => {
    console.error(err);
  });
};
```
  - PACKAGE.JSON: sustituye el fragmento de código predeterminado por el siguiente código.
```
{
  "name": "dataproc-workflow",
  "version": "1.0.0",
  "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
}
```
  - Función que se va a ejecutar: inserta "startWorkflow".
5. Haz clic en CREAR.

Probar la función

Copia el archivo público rose.txt en tu segmento para activar la función. Inserta your-input-bucket-name (el segmento que se usa para activar tu función) en el comando.
```
gcloud storage cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
```
Espera 30 segundos y, a continuación, ejecuta el siguiente comando para verificar que la función se ha completado correctamente.
```
gcloud functions logs read wordcount
```
```
...
Function execution took 1348 ms, finished with status: 'ok'
```
Para ver los registros de funciones desde la página de lista Funciones de la consola Google Cloud , haz clic en el nombre de la función wordcount y, a continuación, en VER REGISTROS en la página Detalles de la función.
Puedes ver la carpeta wordcount-output en tu bucket de salida desde la página Explorador de almacenamiento de la consola deGoogle Cloud .

Nota: La tarea de recuento de palabras fallará si existe la carpeta wordcount-output. Antes de volver a ejecutar el flujo de trabajo activando de nuevo la función, primero elimina la carpeta wordcount-output del segmento de salida.
Una vez que se haya completado el flujo de trabajo, los detalles de la tarea se conservarán en la consolaGoogle Cloud . Haga clic en la tarea count... que aparece en la página Tareas de Dataproc para ver los detalles de la tarea del flujo de trabajo.

Limpieza

El flujo de trabajo de este tutorial elimina su clúster gestionado cuando se completa. Para evitar costes recurrentes, puedes eliminar otros recursos asociados a este tutorial.

Eliminar un proyecto

Precaución: Eliminar un proyecto tiene los siguientes efectos:

Se elimina todo el contenido del proyecto. Si has usado un proyecto que ya existía para las tareas de este documento, cuando lo elimines, también se eliminará cualquier otro trabajo que hayas realizado en él.
Se pierden los IDs de proyecto personalizados. Cuando creaste este proyecto, es posible que hayas creado un ID de proyecto personalizado que quieras usar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, elimina los recursos seleccionados dentro del proyecto en lugar de eliminar todo el proyecto.

Si tienes previsto consultar varias arquitecturas, tutoriales o guías de inicio rápido, reutilizar los proyectos puede ayudarte a no superar los límites de cuota de proyectos.

In the Google Cloud console, go to the Manage resources page.
Go to Manage resources
In the project list, select the project that you want to delete, and then click Delete.
In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminar segmentos de Cloud Storage

In the Google Cloud console, go to the Cloud Storage Buckets page.
Go to Buckets
Click the checkbox for the bucket that you want to delete.
To delete the bucket, click Delete, and then follow the instructions.

Eliminar una plantilla de flujo de trabajo

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Eliminar tu función de Cloud

Abre la página Funciones de Cloud Run en la consola de Google Cloud , selecciona la casilla situada a la izquierda de la función wordcount y, a continuación, haz clic en Eliminar.

Siguientes pasos

Consulta Introducción a las plantillas de flujo de trabajo de Dataproc.
Consulta Soluciones de programación de flujos de trabajo.