Menggunakan Spark SQL dengan Dataproc Metastore

Halaman ini menunjukkan contoh penggunaan Spark SQL dengan layanan Dataproc Metastore. Dalam contoh ini, Anda akan meluncurkan sesi Spark SQL di cluster Dataproc dan menjalankan beberapa perintah contoh untuk membuat database dan tabel.

Sebelum memulai

Menghubungkan ke Spark SQL

Untuk mulai menggunakan Spark SQL, gunakan SSH untuk terhubung ke cluster Dataproc yang terkait dengan layanan Dataproc Metastore Anda. Setelah terhubung ke cluster dengan SSH, Anda dapat menjalankan perintah Spark untuk mengelola metadata.

Untuk terhubung ke Spark SQL

  1. Di Google Cloud konsol, buka halaman VM Instances.
  2. Di daftar instance virtual machine, klik SSH di baris instance VM Dataproc yang ingin Anda hubungkan.

Jendela browser terbuka di direktori beranda Anda di node dengan output yang mirip dengan berikut ini:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Untuk memulai Hive serta membuat database dan tabel, jalankan perintah berikut di sesi SSH:

  1. Mulai shell Spark.

    spark-shell

  2. Buat database dengan nama myDB.

    spark.sql("create database myDB");

  3. Gunakan database yang Anda buat.

    spark.sql("use myDB");

  4. Buat tabel bernama myTable.

    spark.sql("create table bar(id int,name string)");

  5. Mencantumkan tabel di bagian myDatabase.

    spark.sql("show tables").show();

  6. Tampilkan baris tabel dalam tabel yang Anda buat.

    desc myTable;

Menjalankan perintah ini akan menampilkan output yang mirip dengan berikut ini:

$spark-shell

scala>spark.sql("create database myDB");

scala>spark.sql("use myTable");

scala>spark.sql("create table myTable(id int,name string)");

scala>spark.sql("show tables").show();

+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
|    myDB|  myTable|      false|
+--------+---------+-----------+
+--------+---------+-------+
|col_name|data_type|comment|
+--------+---------+-------+
|      id|      int|   null|
|    name|   string|   null|
+--------+---------+-------+

Langkah berikutnya