Verwaltete E/A unterstützt das Lesen und Schreiben von Daten in Apache Kafka.
Voraussetzungen
Die folgenden SDKs unterstützen die verwaltete E/A für Apache Kafka:
- Apache Beam SDK für Java Version 2.58.0 oder höher
- Apache Beam SDK für Python Version 2.61.0 oder höher
Konfiguration
Managed I/O für BigQuery unterstützt die folgenden Konfigurationsparameter:
KAFKA Lesen
| Konfiguration | Typ | Beschreibung |
|---|---|---|
| bootstrap_servers |
str
|
Eine Liste von Host/Port-Paaren, die zum Herstellen der ersten Verbindung zum Kafka-Cluster verwendet werden. Der Client verwendet alle Server, unabhängig davon, welche Server hier für das Bootstrapping angegeben sind. Diese Liste wirkt sich nur auf die anfänglichen Hosts aus, die zum Ermitteln der vollständigen Servergruppe verwendet werden. Diese Liste muss das Format „host1:port1,host2:port2,...“ haben. |
| thema |
str
|
– |
| confluent_schema_registry_subject |
str
|
– |
| confluent_schema_registry_url |
str
|
– |
| consumer_config_updates |
map[str, str]
|
Eine Liste von Schlüssel/Wert-Paaren, die als Konfigurationsparameter für Kafka-Consumer dienen. Die meisten dieser Konfigurationen sind nicht erforderlich. Wenn Sie Ihren Kafka-Consumer jedoch anpassen müssen, können Sie diese verwenden. Eine detaillierte Liste finden Sie unter https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html. |
| file_descriptor_path |
str
|
Der Pfad zur Datei mit dem Satz von Protokollzwischenspeicher-Dateideskriptoren. Diese Datei wird für die Schemadefinition und die Nachrichtenserialisierung verwendet. |
| Format |
str
|
Das Codierungsformat für die in Kafka gespeicherten Daten. Gültige Optionen: RAW,STRING,AVRO,JSON,PROTO |
| message_name |
str
|
Der Name der Protocol Buffer-Nachricht, die für die Schemaextraktion und Datenkonvertierung verwendet werden soll. |
| schema |
str
|
Das Schema, in dem die Daten im Kafka-Thema codiert sind. Für AVRO-Daten ist dies ein Schema, das mit der AVRO-Schemasyntax (https://avro.apache.org/docs/1.10.2/spec.html#schemas) definiert wird. Für JSON-Daten ist dies ein Schema, das mit der JSON-Schema-Syntax (https://json-schema.org/) definiert wird. Wenn eine URL zur Confluent Schema Registry angegeben wird, wird dieses Feld ignoriert und das Schema wird aus der Confluent Schema Registry abgerufen. |
KAFKA Schreiben
| Konfiguration | Typ | Beschreibung |
|---|---|---|
| bootstrap_servers |
str
|
Eine Liste von Host/Port-Paaren, die zum Herstellen der ersten Verbindung zum Kafka-Cluster verwendet werden. Der Client verwendet alle Server, unabhängig davon, welche Server hier für das Bootstrapping angegeben sind. Diese Liste wirkt sich nur auf die anfänglichen Hosts aus, die zum Ermitteln der vollständigen Servergruppe verwendet werden. | Format: host1:port1,host2:port2,... |
| format |
str
|
Das Codierungsformat für die in Kafka gespeicherten Daten. Gültige Optionen sind: RAW,JSON,AVRO,PROTO |
| thema |
str
|
– |
| file_descriptor_path |
str
|
Der Pfad zur Datei mit dem Satz von Protokollzwischenspeicher-Dateideskriptoren. Diese Datei wird für die Schemadefinition und die Nachrichtenserialisierung verwendet. |
| message_name |
str
|
Der Name der Protocol Buffer-Nachricht, die für die Schemaextraktion und Datenkonvertierung verwendet werden soll. |
| producer_config_updates |
map[str, str]
|
Eine Liste von Schlüssel/Wert-Paaren, die als Konfigurationsparameter für Kafka-Produzenten dienen. Die meisten dieser Konfigurationen sind nicht erforderlich. Wenn Sie Ihren Kafka-Produzenten jedoch anpassen müssen, können Sie diese verwenden. Eine detaillierte Liste finden Sie unter https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html. |
| schema |
str
|
– |
Nächste Schritte
Weitere Informationen und Codebeispiele finden Sie unter den folgenden Themen: