Crea un argomento di importazione di Amazon Kinesis Data Streams

Un argomento di importazione di Amazon Kinesis Data Streams ti consente di importare continuamente i dati da Amazon Kinesis Data Streams come origine esterna e in Pub/Sub. Poi puoi trasmettere i dati in streaming in una delle destinazioni supportate da Pub/Sub.

Questo documento spiega come creare e gestire gli argomenti di importazione di Amazon Kinesis Data Streams. Per creare un argomento standard, consulta Creare un argomento standard.

Prima di iniziare

• Scopri di più sulla procedura di pubblicazione di Pub/Sub.

• Configura i ruoli e le autorizzazioni necessari per gestire gli argomenti di importazione di Amazon Kinesis Data Streams, tra cui:

  • Aggiunta del ruolo Publisher Pub/Sub all'account di servizio Pub/Sub

  • Aggiunta del ruolo Utente account di servizio all'account di servizio

• Configura la federazione delle identità per i carichi di lavoro in modo che Google Cloud possa accedere al servizio di streaming esterno.

Ruoli e autorizzazioni richiesti per gestire gli argomenti di importazione

Per ottenere le autorizzazioni necessarie per creare e gestire gli argomenti di importazione di Amazon Kinesis Data Streams, chiedi all'amministratore di concederti il ruolo IAM Editor Pub/Sub(roles/pubsub.editor) sul tuo argomento o progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare e gestire gli argomenti di importazione di Amazon Kinesis Data Streams. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Puoi configurare il controllo dell'accesso a livello di progetto e di singola risorsa.

Configurare l'identità federata per accedere a Kinesis Data Streams

La federazione delle identità dei carichi di lavoro consente ai servizi Google Cloud di accedere ai carichi di lavoro eseguiti al di fuori di Google Cloud. Con la federazione delle identità, non è necessario gestire o trasmettere le credenziali a Google Cloud per accedere alle risorse in altri cloud. In alternativa, puoi utilizzare le identità dei workload stessi per autenticarti su Google Cloud e accedere alle risorse.

Creare un account di servizio in Google Cloud

Questo passaggio è facoltativo. Se hai già un account di servizio, puoi utilizzarlo in questa procedura anziché crearne uno nuovo. Se utilizzi un account di servizio esistente, vai a Registra l'ID univoco dell'account di servizio per il passaggio successivo.

Per un argomento di importazione di Amazon Kinesis Data Streams, Pub/Sub utilizza l'account di servizio come identità per accedere alle risorse da AWS.

Per ulteriori informazioni sulla creazione di un account di servizio, inclusi i prerequisiti, i ruoli e le autorizzazioni richiesti e le linee guida per la denominazione, consulta Creare account di servizio. Dopo aver creato un account di servizio, potrebbe essere necessario attendere almeno 60 secondi prima di utilizzarlo. Questo comportamento si verifica perché le operazioni di lettura sono infine coerenti. Potrebbe essere necessario del tempo prima che il nuovo account di servizio diventi visibile.

Registra l'ID univoco dell'account di servizio

Per configurare un ruolo nella console AWS, devi disporre di un ID univoco dell'account di servizio.

1. Nella console Google Cloud, vai alla pagina dei dettagli dell'account di servizio.

   Vai all'account di servizio

2. Fai clic sull'account di servizio appena creato o su quello che hai intenzione di utilizzare.

3. Nella pagina Dettagli account di servizio, registra il numero ID univoco.

   Ti servirà l'ID nella sezione Creare un ruolo in AWS utilizzando un criterio di attendibilità personalizzato.

Aggiungi il ruolo Creatore token account di servizio all'account di servizio Pub/Sub

Il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator) consente ai principali di creare credenziali di breve durata per un account di servizio. Questi token o queste credenziali vengono utilizzati per simulare l'identità dell'account di servizio.

Per ulteriori informazioni sull'impersonificazione degli account di servizio, consulta Impersonificazione degli account di servizio.

Puoi anche aggiungere il ruolo Publisher Pub/Sub (roles/pubsub.publisher) durante questa procedura. Per ulteriori informazioni sul ruolo e sul motivo per cui lo aggiungi, consulta Aggiungere il ruolo Publisher Pub/Sub all'account di servizio Pub/Sub.

1. Nella console Google Cloud, vai alla pagina IAM.

   Vai a IAM

2. Attiva l'opzione Includi concessioni di ruoli fornite da Google.

3. Cerca l'account di servizio con il formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

4. Per questo account di servizio, fai clic sul pulsante Modifica entità.

5. Se necessario, fai clic su Aggiungi un altro ruolo.

6. Cerca e seleziona il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator).

7. Fai clic su Salva.

Creare un criterio in AWS

In AWS devi avere un criterio che consenta a Pub/Sub di autenticarsi con AWS in modo che possa importare dati da un flusso di dati AWS Kinesis. Prima di creare un criterio AWS, crea un stream di dati Kinesis e un consumatore registrato. Ti consigliamo di seguire questa procedura per poter limitare le autorizzazioni allo stream specifico.

• Per ulteriori informazioni su come creare uno stream di dati AWS Kinesis, consulta Stream di dati Kinesis.

• Per ulteriori informazioni sull'API di stream di dati AWS Kinesis utilizzata per registrare i consumatori, consulta RegisterStreamConsumer.

• Per altri metodi e informazioni su come creare un criterio in AWS, consulta Creare i criteri IAM.

Per creare un criterio in AWS, svolgi i seguenti passaggi:

1. Accedi alla Console di gestione AWS e apri la console IAM.

2. Nel riquadro di navigazione della console per IAM, fai clic su Gestione dell'accesso > Criteri.

3. Fai clic su Crea criterio.

4. In Seleziona un servizio, seleziona Kinesis.

5. Per Azione consentita, seleziona quanto segue:

   • Elenco > ListShards.

     Questa azione concede l'autorizzazione per elencare i frammenti in uno stream e fornisce informazioni su ciascun frammento.

   • Leggi > SubscribeToShard.

     Questa azione concede l'autorizzazione per ascoltare uno specifico shard con fan-out migliorato.

   • Leggi > DescribeStreamConsumer.

     Questa azione concede l'autorizzazione per ottenere la descrizione di un consumatore di stream registrato.

   Queste autorizzazioni riguardano la lettura dallo stream. Pub/Sub supporta la lettura da uno stream Kinesis con fan-out avanzato solo utilizzando l'API SubscribeToShard in streaming.

6. Per Risorse, se vuoi limitare il criterio a stream o consumer specifici (opzione consigliata), specifica l'ARN del consumer e l'ARN dello stream.

7. Fai clic su Aggiungi altre autorizzazioni.

8. In Seleziona un servizio, inserisci e seleziona STS.

9. In Azione consentita, seleziona Scrittura > AssumeRoleWithWebIdentity.

   Questa azione concede l'autorizzazione per ottenere un insieme di credenziali di sicurezza temporanee per Pub/Sub per autenticarsi nello stream di dati Kinesis utilizzando la federazione delle identità.

10. Fai clic su Avanti.

11. Inserisci un nome e una descrizione per la norma.

12. Fai clic su Crea criterio.

Creare un ruolo in AWS utilizzando un criterio di attendibilità personalizzato

Devi creare un ruolo in AWS in modo che Pub/Sub possa autenticarsi in AWS per importare i dati da Kinesis Data Streams.

Per creare un ruolo utilizzando un criterio di attendibilità personalizzato:

1. Accedi alla Console di gestione AWS e apri la console IAM.

2. Nel riquadro di navigazione della console IAM, fai clic su Ruoli.

3. Fai clic su Crea ruolo.

4. In Seleziona entità attendibile, seleziona Criterio di attendibilità personalizzato.

5. Nella sezione Norma di attendibilità personalizzata, inserisci o incolla quanto segue:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
        "Effect": "Allow",
        "Principal": {
           "Federated": "accounts.google.com"
        },
        "Action": "sts:AssumeRoleWithWebIdentity",
        "Condition": {
            "StringEquals": {
              "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
            }
         }
       }
     ]
   }
   

   Sostituisci <SERVICE_ACCOUNT_UNIQUE_ID> con l'ID univoco dell'account di servizio registrato in Registrare l'ID univoco dell'account di servizio.

6. Fai clic su Avanti.

7. Per Aggiungi autorizzazioni, cerca e seleziona il criterio personalizzato appena creato.

8. Fai clic su Avanti.

9. Inserisci un nome e una descrizione per il ruolo.

10. Fai clic su Crea ruolo.

Aggiungi il ruolo Publisher Pub/Sub all'account di servizio Pub/Sub

Devi assegnare un ruolo publisher all'account di servizio Pub/Sub in modo che Pub/Sub possa pubblicare nell'argomento di importazione da AWS Kinesis Data Streams.

• Per attivare la pubblicazione da tutti gli argomenti di un progetto, consulta Attivare la pubblicazione da tutti gli argomenti. Utilizza questo metodo se non hai creato argomenti di importazione di AWS Kinesis Data Streams.

• Per attivare la pubblicazione da un argomento specifico (opzione consigliata), consulta Attivare la pubblicazione da un singolo argomento. Utilizza questo metodo solo se l'argomento di importazione di AWS Kinesis Data Streams esiste già.

Attivare la pubblicazione da tutti gli argomenti

Utilizza questo metodo se non hai creato argomenti di importazione di AWS Kinesis Data Streams.

1. Nella console Google Cloud, vai alla pagina IAM.

   Vai a IAM

2. Attiva l'opzione Includi concessioni di ruoli fornite da Google.

3. Cerca l'account di servizio con il formatoservice-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

4. Per questo account di servizio, fai clic sul pulsante Modifica entità.

5. Se necessario, fai clic su Aggiungi un altro ruolo.

6. Cerca e seleziona il ruolo Publisher Pub/Sub (roles/pubsub.publisher).

7. Fai clic su Salva.

Attivare la pubblicazione da un singolo argomento

Utilizza questo metodo solo se l'argomento di importazione di AWS Kinesis Data Streams esiste già.

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Esegui il comando gcloud pubsub topics add-iam-policy-binding:

   gcloud pubsub topics add-iam-policy-binding TOPIC_ID\
      --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com"\
      --role="roles/pubsub.publisher"

   Sostituisci quanto segue:

   • TOPIC_ID è l'ID argomento dell'argomento di importazione di Amazon Kinesis Data Streams.

   • PROJECT_NUMBER è il numero del progetto. Per visualizzare il numero del progetto, consulta Identificazione dei progetti.

Aggiungi il ruolo Utente account di servizio all'account di servizio

Il ruolo Utente account di servizio (roles/iam.serviceAccountUser) include l'autorizzazione iam.serviceAccounts.actAs che consente a un entità di collegare un account di servizio alle impostazioni di importazione dell'argomento di Amazon Kinesis Data Streams e di utilizzarlo per l'identità federata.

Procedi nel seguente modo:

1. Nella console Google Cloud, vai alla pagina IAM.

   Vai a IAM

2. Per l'entità che emette le chiamate per la creazione o l'aggiornamento degli argomenti, fai clic sul pulsante Modifica entità.

3. Se necessario, fai clic su Aggiungi un altro ruolo.

4. Cerca e seleziona il ruolo Utente account di servizio (roles/iam.serviceAccountUser).

5. Fai clic su Salva.

Crea un argomento di importazione di Amazon Kinesis Data Streams

Per saperne di più sulle proprietà associate a un argomento, consulta Proprietà di un argomento.

Assicurati di aver completato le seguenti procedure:

• Configurare l'identità federata per accedere a Kinesis Data Streams

• Aggiungi il ruolo Publisher Pub/Sub all'account di servizio Pub/Sub

• Aggiungi il ruolo Utente account di servizio all'account di servizio

La creazione separata dell'argomento e della sottoscrizione, anche se eseguita in rapida successione, può comportare la perdita di dati. Esiste un breve periodo di tempo in cui l'argomento esiste senza un abbonamento. Se durante questo periodo vengono inviati dati all'argomento, andranno persi. Se crei prima l'argomento, poi la sottoscrizione e infine converti l'argomento in un argomento di importazione, garantisci che nessun messaggio venga perso durante il processo di importazione.

Per creare un argomento di importazione di Amazon Kinesis Data Streams:

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithKinesisIngestion(w io.Writer, projectID, topicID string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"
	streamARN := "stream-arn"
	consumerARN := "consumer-arn"
	awsRoleARN := "aws-role-arn"
	gcpServiceAccount := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAWSKinesis{
				StreamARN:         streamARN,
				ConsumerARN:       consumerARN,
				AWSRoleARN:        awsRoleARN,
				GCPServiceAccount: gcpServiceAccount,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Kinesis topic created: %v\n", t)
	return nil
}

import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithKinesisIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // Kinesis ingestion settings.
    String streamArn = "stream-arn";
    String consumerArn = "consumer-arn";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithKinesisIngestionExample(
        projectId, topicId, streamArn, consumerArn, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithKinesisIngestionExample(
      String projectId,
      String topicId,
      String streamArn,
      String consumerArn,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsKinesis awsKinesis =
          IngestionDataSourceSettings.AwsKinesis.newBuilder()
              .setStreamArn(streamArn)
              .setConsumerArn(consumerArn)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsKinesis(awsKinesis).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with Kinesis ingestion settings: " + topic.getAllFields());
    }
  }
}

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';
// const streamArn = 'arn:aws:kinesis:...';
// const consumerArn = 'arn:aws:kinesis:...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithKinesisIngestion(
  topicNameOrId,
  awsRoleArn,
  gcpServiceAccount,
  streamArn,
  consumerArn
) {
  // Creates a new topic with Kinesis ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsKinesis: {
        awsRoleArn,
        gcpServiceAccount,
        streamArn,
        consumerArn,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS Kinesis ingestion.`);
}

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# stream_arn = "your-stream-arn"
# consumer_arn = "your-consumer-arn"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_kinesis=IngestionDataSourceSettings.AwsKinesis(
            stream_arn=stream_arn,
            consumer_arn=consumer_arn,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS Kinesis Ingestion Settings")

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string stream_arn, std::string consumer_arn,
   std::string aws_role_arn, std::string gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_kinesis =
      request.mutable_ingestion_data_source_settings()->mutable_aws_kinesis();
  aws_kinesis->set_stream_arn(stream_arn);
  aws_kinesis->set_consumer_arn(consumer_arn);
  aws_kinesis->set_aws_role_arn(aws_role_arn);
  aws_kinesis->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';
// const streamArn = 'arn:aws:kinesis:...';
// const consumerArn = 'arn:aws:kinesis:...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithKinesisIngestion(
  topicNameOrId: string,
  awsRoleArn: string,
  gcpServiceAccount: string,
  streamArn: string,
  consumerArn: string
) {
  // Creates a new topic with Kinesis ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsKinesis: {
        awsRoleArn,
        gcpServiceAccount,
        streamArn,
        consumerArn,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS Kinesis ingestion.`);
}

Per ulteriori informazioni sugli ARN, consulta Amazon Resource Names (ARN) e Identificatori IAM.

Se riscontri problemi, consulta Risolvere i problemi relativi a un argomento di importazione di Amazon Kinesis Data Streams.

Modificare un argomento di importazione di Amazon Kinesis Data Streams

Puoi modificare le impostazioni dell'origine dati di importazione di un argomento di importazione di Amazon Kinesis Data Streams. Procedi nel seguente modo:

Quote e limiti per gli argomenti di importazione di Amazon Kinesis Data Streams

Il throughput del publisher per gli argomenti di importazione è limitato dalla quota di pubblicazione dell'argomento. Per ulteriori informazioni, consulta Quote e limiti di Pub/Sub.

Passaggi successivi

• Monitora un argomento di importazione.

• Scegli il tipo di sottoscrizione per l'argomento.

• Scopri come pubblicare un messaggio in un argomento.

• Crea o modifica un argomento con gcloud CLI, API REST o librerie client.

• Risolvi i problemi relativi a un argomento di importazione di Amazon Kinesis Data Streams.

• Passaggi per configurare il job di trasferimento dati per trasferire i dati da AWS S3 a GCS.