A E/S gerenciada oferece suporte à leitura e gravação no Apache Kafka.
Requisitos
Os seguintes SDKs são compatíveis com o Managed I/O para Apache Kafka:
- SDK do Apache Beam para Java versão 2.58.0 ou mais recente
- SDK do Apache Beam para Python versão 2.61.0 ou mais recente
Configuração
A E/S gerenciada para BigQuery é compatível com os seguintes parâmetros de configuração:
KAFKA Ler
| Configuração | Tipo | Descrição |
|---|---|---|
| bootstrap_servers |
str
|
Uma lista de pares host/porta a serem usados para estabelecer a conexão inicial com o cluster do Kafka. O cliente vai usar todos os servidores, independente de quais forem especificados aqui para inicialização. Esta lista afeta apenas os hosts iniciais usados para descobrir o conjunto completo de servidores. Essa lista precisa estar no formato "host1:port1,host2:port2,..." |
| tema |
str
|
n/a |
| confluent_schema_registry_subject |
str
|
n/a |
| confluent_schema_registry_url |
str
|
n/a |
| consumer_config_updates |
map[str, str]
|
Uma lista de pares de chave-valor que atuam como parâmetros de configuração para consumidores do Kafka. A maioria dessas configurações não será necessária, mas você pode usar isso se precisar personalizar seu consumidor do Kafka. Confira uma lista detalhada: https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html |
| file_descriptor_path |
str
|
O caminho para o arquivo de conjunto de descritores de arquivos de buffer de protocolo. Esse arquivo é usado para definição de esquema e serialização de mensagens. |
| formato |
str
|
O formato de codificação dos dados armazenados no Kafka. As opções válidas são: RAW,STRING,AVRO,JSON,PROTO |
| message_name |
str
|
O nome da mensagem do buffer de protocolo a ser usada para extração de esquema e conversão de dados. |
| schema |
str
|
O esquema em que os dados são codificados no tópico do Kafka. Para dados AVRO, esse é um esquema definido com a sintaxe de esquema AVRO (https://avro.apache.org/docs/1.10.2/spec.html#schemas). Para dados JSON, esse é um esquema definido com a sintaxe JSON-schema (https://json-schema.org/). Se um URL para o registro de esquema do Confluent for fornecido, esse campo será ignorado, e o esquema será buscado no registro de esquema do Confluent. |
KAFKA Gravar
| Configuração | Tipo | Descrição |
|---|---|---|
| bootstrap_servers |
str
|
Uma lista de pares host/porta a serem usados para estabelecer a conexão inicial com o cluster do Kafka. O cliente vai usar todos os servidores, independente de quais forem especificados aqui para inicialização. Esta lista afeta apenas os hosts iniciais usados para descobrir o conjunto completo de servidores. | Formato: host1:port1,host2:port2,... |
| formatar |
str
|
O formato de codificação dos dados armazenados no Kafka. As opções válidas são: RAW,JSON,AVRO,PROTO |
| tema |
str
|
n/a |
| file_descriptor_path |
str
|
O caminho para o arquivo de conjunto de descritores de arquivos de buffer de protocolo. Esse arquivo é usado para definição de esquema e serialização de mensagens. |
| message_name |
str
|
O nome da mensagem do buffer de protocolo a ser usada para extração de esquema e conversão de dados. |
| producer_config_updates |
map[str, str]
|
Uma lista de pares de chave-valor que atuam como parâmetros de configuração para produtores do Kafka. A maioria dessas configurações não será necessária, mas você pode usar isso se precisar personalizar seu produtor do Kafka. Consulte uma lista detalhada: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html |
| schema |
str
|
n/a |
A seguir
Para mais informações e exemplos de código, consulte os seguintes tópicos: