SDK バージョンのサポート状況

このバージョンは 2025 年 3 月 25 日に非推奨となります。

既知の問題: クロス言語パイプラインの WriteToJson 変換がエラーで失敗する。この問題を解決するには、Apache Beam 2.55.1 にアップグレードしてください。詳細については、問題 #30776: Beam YAML の WriteToJson が失敗するをご覧ください。

2022 年 4 月 29 日に非推奨となりました。

既知の問題: Runner V2 を使用する場合、Dataflow はデフォルトでは、ユーザーの Java バージョンに関係なく Java 8 SDK コンテナを使用します。Java 11 でこの問題を回避するには、パイプライン オプション「--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0」を指定してデフォルトの SDK イメージをオーバーライドします。詳細については、Apache Beam の公開バグトラッカーをご覧ください。

2022 年 2 月 22 日に非推奨となりました。

2022 年 1 月 7 日に非推奨となりました。

このリリースでは、JDK 11 のサポートが追加されました。

2021 年 12 月 11 日に非推奨となりました。

2021 年 10 月 23 日に非推奨となりました。

2021 年 9 月 18 日に非推奨となりました。

2021 年 7 月 29 日に非推奨となりました。

2021 年 6 月 8 日に非推奨となりました。

2021 年 5 月 27 日に非推奨となりました。

2021 年 4 月 15 日に非推奨となりました。

2021 年 2 月 4 日に非推奨となりました。

2021 年 1 月 23 日に非推奨となりました。

2021 年 1 月 6 日に非推奨となりました。

2020 年 10 月 7 日に非推奨となりました。

2020 年 8 月 23 日に非推奨となりました。

• 既知の問題のため、Dataflow でスキーマ機能（SQL 変換を含む）を使用する場合は、2.15.0 にアップグレードしないでください。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。

2020 年 8 月 1 日に非推奨となりました。

2020 年 6 月 6 日に非推奨となりました。

このリリースでは、JDK 9 以降のバージョンに対する試験運用版のサポートが追加されました。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。

2020 年 4 月 25 日に非推奨となりました。

• Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。

2020 年 3 月 1 日に非推奨となりました。

• Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。

2020 年 2 月 11 日に非推奨となりました。

• SDK 2.10.0 は gcsio クライアント ライブラリ バージョン 1.9.13 に依存していますが、これには既知の問題があります。
  • 副入力を読み取ると、Cloud Storage に多数のリクエストを送信する可能性があります。その結果、Dataflow ジョブが Cloud Storage の HTTP 429 エラーで失敗する可能性があります。
  • Apache Beam ParquetIO が Cloud Storage からファイルを読み取るときに失敗します。

  上記の問題を回避するには、SDK 2.11.0 にアップグレードするか、gcsio クライアント ライブラリのバージョンを 1.9.16 以降にオーバーライドしてください。

• Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。

2019 年 12 月 13 日に非推奨となりました。

• Streaming Engine（ベータ版）試験運用版を有効にする場合は、既知の問題のため SDK 2.9.0 にアップグレードしないでください。SDK 2.9.0 を使用する場合は、enable_conscrypt_security_provider 実験フラグも設定して、既知の安定性の問題がある Conscrypt を有効にする必要があります。
• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2019 年 10 月 25 日に非推奨となりました。

• Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2019 年 10 月 3 日に非推奨となりました。

• Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2019 年 8 月 8 日に非推奨となりました。

• Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2019 年 6 月 6 日に非推奨となりました。

• Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

• 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
  • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
  • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
  • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
  回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

このバージョンは 2025 年 5 月 1 日に非推奨となります。

このバージョンは 2025 年 4 月 8 日に非推奨となります。

既知の問題: この SDK を使用する Python パイプラインは、停止することがあります。詳細については、Apache Beam GitHub の問題 #30867 をご覧ください。

このバージョンは 2025 年 3 月 25 日に非推奨となります。

既知の問題: クロス言語パイプラインの WriteToJson 変換がエラーで失敗する。この問題を解決するには、Apache Beam 2.55.1 にアップグレードしてください。詳細については、問題 #30776: Beam YAML の WriteToJson が失敗するをご覧ください。

既知の問題: この SDK を使用する Python パイプラインは、停止することがあります。詳細については、Apache Beam GitHub の問題 #30867 をご覧ください。

このバージョンは 2025 年 2 月 14 日に非推奨となります。

このバージョンは、2025 年 1 月 4 日に非推奨となります。

このバージョンは 2024 年 11 月 17 日に非推奨となります。

このバージョンは 2024 年 10 月 12 日に非推奨となります。

このバージョンは 2024 年 8 月 30 日に非推奨となります。

このバージョンは 2024 年 7 月 17 日に非推奨となります。

このバージョンは 2024 年 5 月 31 日に非推奨となります。

2024 年 5 月 10 日に非推奨となりました。

このバージョンは 2024 年 9 月 10 日に非推奨となります。このバージョンのサポート期間は、後のリリースで判明した既知の問題のため延長されました。

2024 年 2 月 15 日に非推奨となりました。

2024 年 1 月 13 日に非推奨となりました。

2023 年 11 月 17 日に非推奨となりました。

2023 年 10 月 17 日に非推奨となりました。

2023 年 8 月 23 日に非推奨となりました。

2023 年 6 月 27 日に非推奨となりました。

2023 年 5 月 25 日に非推奨となりました。

2023 年 4 月 20 日に非推奨となりました。

2023 年 3 月 4 日に非推奨となりました。

• ignore_unknown_columns パラメータを true に設定して WriteToBigQuery を使用すると、パラメータ値は無視されます。この問題は、バージョン 2.38.0 で修正されています。詳細については、BEAM-14039 をご覧ください。

2023 年 2 月 7 日に非推奨となりました。

• ignore_unknown_columns パラメータを true に設定して WriteToBigQuery を使用すると、パラメータ値は無視されます。この問題は、バージョン 2.38.0 で修正されています。詳細については、BEAM-14039 をご覧ください。

2022 年 12 月 29 日に非推奨となりました。

2022 年 11 月 11 日に非推奨となりました。

2022 年 10 月 7 日に非推奨となりました。

2022 年 8 月 25 日に非推奨となりました。

2022 年 7 月 8 日に非推奨となりました。

2022 年 6 月 10 日に非推奨となりました。

2022 年 4 月 29 日に非推奨となりました。

2022 年 2 月 22 日に非推奨となりました。

2022 年 1 月 7 日に非推奨となりました。

2021 年 12 月 11 日に非推奨となりました。

2021 年 10 月 23 日に非推奨となりました。

2021 年 9 月 18 日に非推奨となりました。また、Apache Beam SDK 2.24.0 バージョンは、Python 2 と Python 3.5 をサポートする最後のバージョンです。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2021 年 7 月 29 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2021 年 6 月 8 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2021 年 5 月 27 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2021 年 4 月 15 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2021 年 2 月 4 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2021 年 1 月 23 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2021 年 1 月 6 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2020 年 8 月 1 日に非推奨となりました。

• このリリースに追加された MongoDB ソースに既知の問題があります。この問題により、データ損失の可能性があります。詳細については、BEAM-7866 をご覧ください。

2019 年 10 月 3 日に非推奨となりました。