Esta página se ha traducido con Cloud Translation API.

Crear un tema de importación de Amazon Kinesis Data Streams

Un tema de importación de Amazon Kinesis Data Streams te permite ingerir datos de forma continua desde Amazon Kinesis Data Streams como fuente externa y en Pub/Sub. Después, puede transmitir los datos a cualquiera de los destinos que admite Pub/Sub.

Para obtener más información sobre los temas de importación, consulta el artículo Acerca de los temas de importación.

Antes de empezar

Consulta más información sobre el proceso de publicación de Pub/Sub.
Configura los roles y permisos necesarios para gestionar los temas de importación de Amazon Kinesis Data Streams, incluidos los siguientes:
Configura la federación de identidades de cargas de trabajo para que Google Cloud pueda acceder al servicio de streaming externo.

Roles y permisos necesarios

Para obtener los permisos que necesitas para crear y gestionar temas de importación de Amazon Kinesis Data Streams, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Editor de Pub/Sub (roles/pubsub.editor) en tu tema o proyecto. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para crear y gestionar temas de importación de flujos de datos de Amazon Kinesis. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para crear y gestionar temas de importación de Amazon Kinesis Data Streams, se necesitan los siguientes permisos:

Crea un tema de importación: pubsub.topics.create
Eliminar un tema importado: pubsub.topics.delete
Obtener un tema de importación: pubsub.topics.get
Para enumerar un tema de importación, sigue estos pasos: pubsub.topics.list
Publicar en un tema de importación: pubsub.topics.publish and pubsub.serviceAgent
Actualizar un tema de importación: pubsub.topics.update
Obtiene la política de gestión de identidades y accesos de un tema de importación: pubsub.topics.getIamPolicy
Configura la política de gestión de identidades y accesos de un tema de importación: pubsub.topics.setIamPolicy

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Puedes configurar el control de acceso a nivel de proyecto y de recurso individual.

Configurar la identidad federada para acceder a Amazon Kinesis Data Streams

La federación de identidades de cargas de trabajo permite que los servicios accedan a cargas de trabajo que se ejecutan fuera de Google Cloud. Google Cloud Con la federación de identidades, no es necesario mantener ni transferir credenciales a Google Cloud para acceder a tus recursos en otras nubes. En su lugar, puedes usar las identidades de las cargas de trabajo para autenticarte en Google Cloud y acceder a los recursos.

Crear una cuenta de servicio en Google Cloud

Este paso es opcional. Si ya tienes una cuenta de servicio, puedes usarla en este procedimiento en lugar de crear una nueva. Si usas una cuenta de servicio, ve a Registrar el ID único de la cuenta de servicio para el siguiente paso.

En el caso de los temas de importación de flujos de datos de Amazon Kinesis, Pub/Sub usa la cuenta de servicio como identidad para acceder a los recursos de AWS.

Para obtener más información sobre cómo crear una cuenta de servicio, incluidos los requisitos previos, los roles y permisos necesarios, y las directrices para asignar nombres, consulta el artículo Crear cuentas de servicio. Después de crear una cuenta de servicio, es posible que tengas que esperar 60 segundos o más antes de usarla. Este comportamiento se produce porque las operaciones de lectura son coherentes con el tiempo. La nueva cuenta de servicio puede tardar en aparecer.

Registrar el ID único de la cuenta de servicio

Necesitas un ID único de cuenta de servicio para configurar un rol en AWS.

En la Google Cloud consola, ve a la página de detalles de la cuenta de servicio.

Ir a la cuenta de servicio
Haz clic en la cuenta de servicio que acabas de crear o en la que tienes previsto usar.
En la página Detalles de la cuenta de servicio, anota el número de ID único.

Necesitas el ID como parte del flujo de trabajo para configurar un rol en AWS.

Añadir el rol de creador de tokens de cuenta de servicio a la cuenta de servicio de Pub/Sub

El rol Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) permite a las entidades principales crear credenciales de duración reducida para una cuenta de servicio. Estos tokens o credenciales se usan para suplantar la identidad de la cuenta de servicio.

Para obtener más información sobre la suplantación de identidad en cuentas de servicio, consulta el artículo Suplantación de identidad en cuentas de servicio.

También puedes añadir el rol de editor de Pub/Sub (roles/pubsub.publisher) durante este procedimiento. Para obtener más información sobre el rol y por qué lo añade, consulte Añadir el rol de editor de Pub/Sub a la cuenta de servicio de Pub/Sub.

En la consola, ve a la página Gestión de identidades y accesos. Google Cloud

Ir a IAM
Marca la casilla Incluir concesiones de roles proporcionadas por Google.
Busca la cuenta de servicio que tenga el formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.
En esta cuenta de servicio, haz clic en el botón Editar principal.
Si es necesario, haz clic en Añadir otro rol.
Busca y haz clic en el rol Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator).
Haz clic en Guardar.

Crear una política en AWS

Necesitas una política en AWS para que Pub/Sub se autentique en AWS y pueda ingerir datos de Amazon Kinesis Data Streams.

Para obtener más información sobre cómo crear una política en AWS, consulta Crear políticas de IAM.

Para crear una política en AWS, sigue estos pasos:

Inicia sesión en la consola de administración de AWS y abre la consola de IAM.
En el panel de navegación de la consola de IAM, haz clic en Gestión de accesos > Políticas.
Haz clic en Crear política.
En Seleccionar un servicio, haz clic en Kinesis.
En Acción permitida, haga clic en lo siguiente:
- List > ListShards.
  
  Esta acción concede permiso para enumerar los fragmentos de una secuencia y proporciona información sobre cada fragmento.
- Leer > SubscribeToShard.
  
  Esta acción concede permiso para escuchar un fragmento específico con una difusión mejorada.
- Leer > DescribeStreamConsumer.
  
  Esta acción concede permiso para obtener la descripción de un consumidor de flujo registrado.
Estos permisos cubren la lectura de la emisión. Pub/Sub solo admite la lectura de un flujo de Kinesis con Enhanced Fan-Out mediante la API de streaming SubscribeToShard.
En Resources, si quieres restringir la política a un flujo o consumidor específicos (opción recomendada), especifica el ARN del consumidor y el ARN del flujo.
Haz clic en Añadir más permisos.
En Seleccionar un servicio, haz clic en STS.
En Acción permitida, haga clic en Escribir > AssumeRoleWithWebIdentity.

Esta acción concede permiso para obtener un conjunto de credenciales de seguridad temporales para que Pub/Sub se autentique en Amazon Kinesis Data Streams mediante la federación de identidades.
Haz clic en Siguiente.
Introduce el nombre y la descripción de la política.
Haz clic en Crear política.

Crear un rol en AWS con una política de confianza personalizada

Debes crear un rol en AWS para que Pub/Sub pueda autenticarse en AWS e ingerir datos de Amazon Kinesis Data Streams.

Inicia sesión en la consola de administración de AWS y abre la consola de IAM.
En el panel de navegación de la consola de Gestión de identidades y accesos, haz clic en Roles.
Haz clic en Crear rol.
En Seleccionar entidad de confianza, haz clic en Política de confianza personalizada.

En la sección Política de confianza personalizada, introduce o pega lo siguiente:

{
  "Version": "2012-10-17",
  "Statement": [
    {
     "Effect": "Allow",
     "Principal": {
        "Federated": "accounts.google.com"
     },
     "Action": "sts:AssumeRoleWithWebIdentity",
     "Condition": {
         "StringEquals": {
           "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
         }
      }
    }
  ]
}

Sustituye <SERVICE_ACCOUNT_UNIQUE_ID> por el ID único de la cuenta de servicio que has anotado en Anota el ID único de la cuenta de servicio.

Haz clic en Siguiente.
En Añadir permisos, busca y haz clic en la política personalizada que acabas de crear.
Haz clic en Siguiente.
Introduce el nombre y la descripción del rol.
Haz clic en Crear rol.

Añadir el rol de editor de Pub/Sub a la cuenta principal de Pub/Sub

Para habilitar la publicación, debes asignar un rol de editor a la cuenta de servicio de Pub/Sub para que Pub/Sub pueda publicar en el tema de importación de Amazon Kinesis Data Streams.

Añadir el rol de agente de servicio de Pub/Sub a la cuenta de servicio de Pub/Sub

Para permitir que Pub/Sub use la cuota de publicación del proyecto del tema de importación, el agente de servicio de Pub/Sub necesita el permiso serviceusage.services.use en el proyecto del tema de importación.

Para conceder este permiso, te recomendamos que añadas el rol de agente de servicio de Pub/Sub a la cuenta de servicio de Pub/Sub.

Si la cuenta de servicio de Pub/Sub no tiene el rol de agente de servicio de Pub/Sub, se le puede asignar de la siguiente manera:

En la consola, ve a la página Gestión de identidades y accesos. Google Cloud

Ir a IAM
Marca la casilla Incluir concesiones de roles proporcionadas por Google.
Busca la cuenta de servicio que tenga el formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.
En esta cuenta de servicio, haz clic en el botón Editar principal.
Si es necesario, haz clic en Añadir otro rol.
Busca y haz clic en el rol Agente de servicio de Pub/Sub (roles/pubsub.serviceAgent).
Haz clic en Guardar.

Habilitar la publicación de todos los temas

Usa este método si no has creado ningún tema de importación de Amazon Kinesis Data Streams.

En la consola, ve a la página Gestión de identidades y accesos. Google Cloud

Ir a IAM
Marca la casilla Incluir concesiones de roles proporcionadas por Google.
Busca la cuenta de servicio que tenga el formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.
En esta cuenta de servicio, haz clic en el botón Editar principal.
Si es necesario, haz clic en Añadir otro rol.
Busca y haz clic en el rol Editor de Pub/Sub (roles/pubsub.publisher).
Haz clic en Guardar.

Habilitar la publicación desde un solo tema

Usa este método solo si ya existe el tema de importación de Amazon Kinesis Data Streams.

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Ejecuta el comando gcloud pubsub topics add-iam-policy-binding:
```
gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
   --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com" \
   --role="roles/pubsub.publisher"
```
Haz los cambios siguientes:
- TOPIC_ID: ID del tema de importación de Amazon Kinesis Data Streams.
- PROJECT_NUMBER: el número de proyecto. Para ver el número de proyecto, consulta el artículo Identificar proyectos.

Añadir el rol de usuario de cuenta de servicio a la cuenta de servicio

El rol Usuario de cuenta de servicio (roles/iam.serviceAccountUser) incluye el permiso iam.serviceAccounts.actAs, que permite que un principal asigne una cuenta de servicio a los ajustes de ingestión del tema de importación de Amazon Kinesis Data Streams y use esa cuenta de servicio para la identidad federada.

En la consola, ve a la página Gestión de identidades y accesos. Google Cloud

Ir a IAM
En el principal que emite las llamadas para crear o actualizar temas, haz clic en el botón Editar principal.
Si es necesario, haz clic en Añadir otro rol.
Busca y haz clic en el rol Usuario de cuenta de servicio (roles/iam.serviceAccountUser).
Haz clic en Guardar.

Usar temas de Amazon Kinesis Data Streams

Puede crear un tema de importación o editar uno que ya tenga.

Cuestiones importantes

Si creas el tema y la suscripción por separado, aunque lo hagas de forma rápida, se pueden perder datos. Hay un breve periodo en el que el tema existe sin una suscripción. Si se envían datos al tema durante este tiempo, se perderán. Si creas el tema primero, luego la suscripción y, por último, conviertes el tema en un tema de importación, te aseguras de que no se pierda ningún mensaje durante el proceso de importación.

Crear un tema de importación de Amazon Kinesis Data Streams

Para obtener más información sobre las propiedades asociadas a un tema, consulta Propiedades de un tema.

Asegúrate de que has completado los siguientes procedimientos:

Para crear un tema de importación de Amazon Kinesis Data Streams, sigue estos pasos:

Consola

En la Google Cloud consola, ve a la página Temas.

Ir a Temas
Haz clic en Crear tema.
En el campo ID de tema, introduce un ID para el tema de importación de Amazon Kinesis Data Streams.

Para obtener más información sobre cómo poner nombre a los temas, consulta las directrices de nomenclatura.
Selecciona Añadir una suscripción predeterminada.
Selecciona Habilitar la ingesta.
En Fuente de ingestión, seleccione Amazon Kinesis Data Streams.
Introduce los siguientes datos:
- ARN de flujo de Kinesis: el ARN del flujo de datos de Kinesis que quieres ingerir en Pub/Sub. El formato del ARN es el siguiente: arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}.
- ARN de consumidor de Kinesis: el ARN del recurso de consumidor registrado en el flujo de datos de AWS Kinesis. El formato del ARN es el siguiente: arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}.
- Nombre de recurso de Amazon (ARN) del rol de AWS: el ARN del rol de AWS. El formato ARN del rol es el siguiente: arn:aws:iam::${Account}:role/${RoleName}
- Cuenta de servicio: la cuenta de servicio que has creado en Crear una cuenta de servicio en Google Cloud.
Haz clic en Crear tema.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Ejecuta el comando gcloud pubsub topics create:
```
gcloud pubsub topics create TOPIC_ID \
    --kinesis-ingestion-stream-arn KINESIS_STREAM_ARN \
    --kinesis-ingestion-consumer-arn KINESIS_CONSUMER_ARN \
    --kinesis-ingestion-role-arn KINESIS_ROLE_ARN \
    --kinesis-ingestion-service-account PUBSUB_SERVICE_ACCOUNT
```
Haz los cambios siguientes:
- TOPIC_ID: el ID del tema.
- KINESIS_STREAM_ARN: el ARN de Kinesis Data Streams que tienes previsto ingerir en Pub/Sub. El formato del ARN es el siguiente: arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}.
- KINESIS_CONSUMER_ARN: el ARN del recurso de consumidor registrado en AWS Kinesis Data Streams. El formato del ARN es el siguiente: arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}.
- KINESIS_ROLE_ARN: el ARN del rol de AWS. El formato ARN del rol es el siguiente: arn:aws:iam::${Account}:role/${RoleName}.
- PUBSUB_SERVICE_ACCOUNT: la cuenta de servicio que has creado en Crear una cuenta de servicio en Google Cloud.

C++

Antes de probar este ejemplo, sigue las instrucciones de configuración de C++ que se indican en la guía de inicio rápido sobre cómo usar bibliotecas de cliente. Para obtener más información, consulta la documentación de referencia de la API de C++ de Pub/Sub.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string stream_arn, std::string consumer_arn,
   std::string aws_role_arn, std::string gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_kinesis =
      request.mutable_ingestion_data_source_settings()->mutable_aws_kinesis();
  aws_kinesis->set_stream_arn(stream_arn);
  aws_kinesis->set_consumer_arn(consumer_arn);
  aws_kinesis->set_aws_role_arn(aws_role_arn);
  aws_kinesis->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Go

En el siguiente ejemplo se usa la versión principal de la biblioteca de cliente de Pub/Sub de Go (v2). Si sigues usando la biblioteca v1, consulta la guía de migración a la versión 2. Para ver una lista de ejemplos de código de la versión 1, consulta los ejemplos de código obsoletos.

Antes de probar este ejemplo, sigue las instrucciones de configuración de Go que se indican en la guía de inicio rápido sobre cómo usar bibliotecas de cliente. Para obtener más información, consulta la documentación de referencia de la API Go de Pub/Sub.

import (
	"context"
	"fmt"
	"io"

	pubsub "cloud.google.com/go/pubsub/v2"
	"cloud.google.com/go/pubsub/v2/apiv1/pubsubpb"
)

func createTopicWithKinesisIngestion(w io.Writer, projectID, topic string) error {
	// projectID := "my-project-id"
	// topicID := "projects/my-project-id/topics/my-topic"
	streamARN := "stream-arn"
	consumerARN := "consumer-arn"
	awsRoleARN := "aws-role-arn"
	gcpServiceAccount := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	topicpb := &pubsubpb.Topic{
		Name: topic,
		IngestionDataSourceSettings: &pubsubpb.IngestionDataSourceSettings{
			Source: &pubsubpb.IngestionDataSourceSettings_AwsKinesis_{
				AwsKinesis: &pubsubpb.IngestionDataSourceSettings_AwsKinesis{
					StreamArn:         streamARN,
					ConsumerArn:       consumerARN,
					AwsRoleArn:        awsRoleARN,
					GcpServiceAccount: gcpServiceAccount,
				},
			},
		},
	}
	topicpb, err = client.TopicAdminClient.CreateTopic(ctx, topicpb)
	if err != nil {
		return fmt.Errorf("failed to create topic with kinesis: %w", err)
	}
	fmt.Fprintf(w, "Kinesis topic created: %v\n", topicpb)
	return nil
}

Java

Antes de probar este ejemplo, sigue las instrucciones de configuración de Java que se indican en la guía de inicio rápido sobre cómo usar bibliotecas de cliente. Para obtener más información, consulta la documentación de referencia de la API de Java de Pub/Sub.


import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithKinesisIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // Kinesis ingestion settings.
    String streamArn = "stream-arn";
    String consumerArn = "consumer-arn";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithKinesisIngestionExample(
        projectId, topicId, streamArn, consumerArn, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithKinesisIngestionExample(
      String projectId,
      String topicId,
      String streamArn,
      String consumerArn,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsKinesis awsKinesis =
          IngestionDataSourceSettings.AwsKinesis.newBuilder()
              .setStreamArn(streamArn)
              .setConsumerArn(consumerArn)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsKinesis(awsKinesis).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with Kinesis ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

Antes de probar este ejemplo, sigue las instrucciones de configuración de Node.js que se indican en la guía de inicio rápido sobre cómo usar bibliotecas de cliente. Para obtener más información, consulta la documentación de referencia de la API de Node.js de Pub/Sub.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';
// const streamArn = 'arn:aws:kinesis:...';
// const consumerArn = 'arn:aws:kinesis:...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithKinesisIngestion(
  topicNameOrId,
  awsRoleArn,
  gcpServiceAccount,
  streamArn,
  consumerArn,
) {
  // Creates a new topic with Kinesis ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsKinesis: {
        awsRoleArn,
        gcpServiceAccount,
        streamArn,
        consumerArn,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS Kinesis ingestion.`);
}

Node.ts

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';
// const streamArn = 'arn:aws:kinesis:...';
// const consumerArn = 'arn:aws:kinesis:...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithKinesisIngestion(
  topicNameOrId: string,
  awsRoleArn: string,
  gcpServiceAccount: string,
  streamArn: string,
  consumerArn: string,
) {
  // Creates a new topic with Kinesis ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsKinesis: {
        awsRoleArn,
        gcpServiceAccount,
        streamArn,
        consumerArn,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS Kinesis ingestion.`);
}

Python

Antes de probar este ejemplo, sigue las instrucciones de configuración de Python que se indican en la guía de inicio rápido sobre cómo usar bibliotecas de cliente. Para obtener más información, consulta la documentación de referencia de la API de Python de Pub/Sub.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# stream_arn = "your-stream-arn"
# consumer_arn = "your-consumer-arn"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_kinesis=IngestionDataSourceSettings.AwsKinesis(
            stream_arn=stream_arn,
            consumer_arn=consumer_arn,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS Kinesis Ingestion Settings")

Para obtener más información sobre los ARNs, consulta Nombres de recursos de Amazon (ARNs) e Identificadores de IAM.

Si tienes problemas, consulta Solucionar problemas con un tema de importación de Amazon Kinesis Data Streams.

Editar un tema de importación de Amazon Kinesis Data Streams

Puede editar la configuración de la fuente de datos de ingestión de un tema de importación de Amazon Kinesis Data Streams. Sigue estos pasos:

Consola

En la Google Cloud consola, ve a la página Temas.

Ir a Temas
Haga clic en el tema de importación de Amazon Kinesis Data Streams.
En la página de detalles del tema, haz clic en Editar.
Actualiza los campos que quieras cambiar.
Haz clic en Actualizar.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Para no perder la configuración del tema de importación, asegúrese de incluirla toda cada vez que actualice el tema. Si omites algo, Pub/Sub restablecerá el ajuste a su valor predeterminado original.

Ejecuta el comando gcloud pubsub topics update con todas las marcas mencionadas en el siguiente ejemplo:
```
gcloud pubsub topics update TOPIC_ID 

    --kinesis-ingestion-stream-arn KINESIS_STREAM_ARN 

    --kinesis-ingestion-consumer-arn KINESIS_CONSUMER_ARN 

    --kinesis-ingestion-role-arn KINESIS_ROLE_ARN 

    --kinesis-ingestion-service-account PUBSUB_SERVICE_ACCOUNT
```
Haz los cambios siguientes:
- TOPIC_ID es el ID del tema. Este campo no se puede actualizar.
- KINESIS_STREAM_ARN es el ARN de los flujos de datos de Kinesis que quieres ingerir en Pub/Sub. El formato del ARN es el siguiente: arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}.
- KINESIS_CONSUMER_ARN es el ARN del recurso de consumidor registrado en los flujos de datos de AWS Kinesis. El formato del ARN es el siguiente: arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}.
- KINESIS_ROLE_ARN es el ARN del rol de AWS. El formato ARN del rol es el siguiente: arn:aws:iam::${Account}:role/${RoleName}.
- PUBSUB_SERVICE_ACCOUNT es la cuenta de servicio que has creado en Crear una cuenta de servicio Google Cloud.

Cuotas y límites de los temas de importación de flujos de datos de Amazon Kinesis

El rendimiento de publicación de los temas de importación está limitado por la cuota de publicación del tema. Para obtener más información, consulta las cuotas y los límites de Pub/Sub.

Siguientes pasos

Monitorizar un tema de importación
Elige el tipo de suscripción para tu tema.
Consulta cómo publicar un mensaje en un tema.
Crea o modifica un tema con gcloud CLI, APIs REST o bibliotecas de cliente.
Solucionar problemas de un tema de importación de Amazon Kinesis Data Streams
Pasos para configurar una tarea de transferencia de almacenamiento para transferir datos de AWS S3 a Cloud Storage

Apache Kafka® es una marca registrada de Apache Software Foundation o sus filiales en Estados Unidos u otros países.

Crear un tema de importación de Amazon Kinesis Data Streams Organízate con las colecciones Guarda y clasifica el contenido según tus preferencias.

Antes de empezar

Roles y permisos necesarios

Permisos obligatorios

Configurar la identidad federada para acceder a Amazon Kinesis Data Streams

Crear una cuenta de servicio en Google Cloud

Registrar el ID único de la cuenta de servicio

Añadir el rol de creador de tokens de cuenta de servicio a la cuenta de servicio de Pub/Sub

Crear una política en AWS

Crear un rol en AWS con una política de confianza personalizada

Añadir el rol de editor de Pub/Sub a la cuenta principal de Pub/Sub

Añadir el rol de agente de servicio de Pub/Sub a la cuenta de servicio de Pub/Sub

Habilitar la publicación de todos los temas

Habilitar la publicación desde un solo tema

Añadir el rol de usuario de cuenta de servicio a la cuenta de servicio

Usar temas de Amazon Kinesis Data Streams

Cuestiones importantes

Crear un tema de importación de Amazon Kinesis Data Streams

Consola

gcloud

C++

Go

Java

Node.js

Node.ts

Python

Editar un tema de importación de Amazon Kinesis Data Streams

Consola

gcloud

Cuotas y límites de los temas de importación de flujos de datos de Amazon Kinesis

Siguientes pasos

Crear un tema de importación de Amazon Kinesis Data Streams