Membuat cluster Dataproc menggunakan library klien
Kode contoh yang tercantum di bawah ini menunjukkan cara menggunakan Library Klien Cloud untuk membuat cluster Dataproc, menjalankan tugas di cluster, lalu menghapus cluster tersebut.
Anda juga dapat melakukan tugas ini menggunakan:
- Permintaan REST API di Panduan Memulai Menggunakan API Explorer
- Konsol Google Cloud di Membuat cluster Dataproc dengan menggunakan Konsol Google Cloud
- Google Cloud CLI di bagian Membuat cluster Dataproc dengan menggunakan Google Cloud CLI
Sebelum memulai
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API Dataproc.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API Dataproc.
Menjalankan Kode
Coba panduannya: Klik Buka di Cloud Shell untuk menjalankan panduan Library Klien Python Cloud yang membuat cluster, menjalankan tugas PySpark, lalu menghapus cluster.
Go
- Menginstal library klien Untuk mengetahui informasi selengkapnya, Lihat Menyiapkan lingkungan pengembangan Anda.
- Menyiapkan autentikasi
- Clone dan jalankan contoh kode GitHub.
- Lihat output. Kode tersebut menghasilkan log driver tugas ke bucket staging Dataproc default di Cloud Storage. Anda dapat melihat output driver tugas dari Konsol Google Cloud di bagian Jobs Dataproc
project Anda. Klik ID Tugas untuk melihat output tugas di
halaman Detail tugas.
Java
- Menginstal library klien Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Lingkungan Pengembangan Java.
- Menyiapkan autentikasi
- Clone dan jalankan contoh kode GitHub.
- Lihat output. Kode tersebut menghasilkan log driver tugas ke bucket staging Dataproc default di Cloud Storage. Anda dapat melihat output driver tugas dari Konsol Google Cloud di bagian Jobs Dataproc
project Anda. Klik ID Tugas untuk melihat output tugas di
halaman Detail tugas.
Node.js
- Menginstal library klien Untuk mengetahui informasi selengkapnya, baca artikel Menyiapkan lingkungan pengembangan Node.js.
- Menyiapkan autentikasi
- Clone dan jalankan contoh kode GitHub.
- Lihat output. Kode tersebut menghasilkan log driver tugas ke bucket staging Dataproc default di Cloud Storage. Anda dapat melihat output driver tugas dari Konsol Google Cloud di bagian Jobs Dataproc
project Anda. Klik ID Tugas untuk melihat output tugas di
halaman Detail tugas.
Python
- Menginstal library klien Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Lingkungan Pengembangan Python.
- Menyiapkan autentikasi
- Clone dan jalankan contoh kode GitHub.
- Lihat output. Kode tersebut menghasilkan log driver tugas ke bucket staging Dataproc default di Cloud Storage. Anda dapat melihat output driver tugas dari Konsol Google Cloud di bagian Jobs Dataproc
project Anda. Klik ID Tugas untuk melihat output tugas di
halaman Detail tugas.
Langkah selanjutnya
- Lihat Referensi tambahan Library Klien Cloud Dataproc.