Dataproc ドキュメント
Dataproc は、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、ML を行えるマネージド Apache Spark / Apache Hadoop サービスです。Dataproc の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。詳細
$300 分の無料クレジットを使用して概念実証を始める
- Gemini 2.0 Flash Thinking をご利用いただけます。
- AI API や BigQuery などの人気プロダクトの毎月の無料使用枠をご利用いただけます。
- 自動請求は行われず、契約も不要です。
常に無料で利用可能な 20 以上のプロダクトを確認する
AI API、VM、データ ウェアハウスなど、一般的なユースケース向けの 20 以上のプロダクトを無料でご利用いただけます。
ドキュメント リソース
関連リソース
Google Kubernetes Engine で Spark ジョブを実行する
Dataproc Jobs API から稼働中の Google Kubernetes Engine クラスタに Spark ジョブを送信します。
Introduction to Cloud Dataproc: Hadoop and Spark on Google Cloud
このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタの作成、Spark ジョブの送信、クラスタのシャットダウンを行います。
Dataproc で Spark を使用した ML
このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタで実行する Apache Spark の ML ライブラリを使用してロジスティック回帰を実装し、多変数データセットのデータ用のモデルを作成します。
ワークフロー スケジューリング ソリューション
Google Cloud でワークフローをスケジュールします。
オンプレミスから Google Cloud への HDFS データの移行
オンプレミスの Hadoop 分散ファイル システム（HDFS）から Google Cloud にデータを移動する方法。
Apache Spark に関する Java と Scala の依存関係の管理
Dataproc クラスタに Spark ジョブを送信する際に依存関係を含めるうえで推奨される方法を紹介します。
Python API のサンプル
Python から Dataproc API を呼び出します。
Java API のサンプル
Java から Dataproc API を呼び出します。
Node.js API のサンプル
Node.js から Dataproc API を呼び出します。
Go API のサンプル
Go から Dataproc API を呼び出します。