Apache Hive

Halaman ini berisi informasi tentang cara menghubungkan Looker ke Apache Hive 2.3+ dan Apache Hive 3.1.2+.

Perhatikan hal berikut tentang dukungan Looker untuk berbagai versi Apache Hive:

  • Looker mendukung koneksi ke Apache Hive 2.3+ dan Apache Hive 3.1.2+.
  • Untuk Apache Hive 3.1.2+, Looker dapat terintegrasi sepenuhnya dengan database Apache Hive 3 hanya pada versi yang lebih baru dari 3.1.2. Hal ini disebabkan oleh masalah penguraian kueri dari Hive versi 2.4.0 - 3.1.2 yang menyebabkan waktu penguraian yang sangat lama untuk SQL yang dihasilkan Looker.
  • Looker tidak mendukung koneksi ke Apache Hive 2. Kueri pada koneksi ke Apache Hive 2 akan menampilkan error.

Mengenkripsi traffic jaringan

Praktik terbaiknya adalah mengenkripsi traffic jaringan antara aplikasi Looker dan database Anda. Pertimbangkan salah satu opsi yang dijelaskan di halaman dokumentasi Mengaktifkan akses database yang aman.

Pengantar

Looker dirancang untuk terhubung ke server database menggunakan JDBC. Dalam kasus Hive, ini adalah server thrift (HiveServer2). Lihat dokumentasi Apache untuk mengetahui informasi selengkapnya.

Secara default, server ini akan memproses port 10000.

Looker adalah alat kueri interaktif, sehingga diharapkan dapat bekerja dengan mesin SQL interaktif. Jika Hive berjalan di MapReduce — hive.execution.engine disetel ke mr — maka Hive akan menampilkan hasil kueri terlalu lambat untuk digunakan.

Looker diuji dengan Hive on Tez (hive.execution.engine=tez), meskipun Looker juga dapat dijalankan terhadap Hive on Spark. Dukungan Spark ditambahkan di Hive versi 1.1. (Looker mendukung Hive 1.2.1+.)

Tabel turunan persisten (PDT)

Untuk mengaktifkan tabel turunan persisten (PDT) di Looker menggunakan koneksi Hive, buat skema sementara yang akan digunakan Looker. Berikut adalah contoh perintah yang dapat Anda gunakan untuk membuat skema looker_scratch:

 CREATE SCHEMA looker_scratch;

Akun pengguna yang digunakan Looker untuk terhubung ke Hive (yang dapat berupa akun anonim jika tidak ada autentikasi yang digunakan) harus memiliki kemampuan berikut dalam skema sementara:

  • Buat tabel
  • Mengubah tabel
  • Menghapus tabel

Uji ini dengan klien JDBC sebelum mencoba membuat PDT dengan Hive.

Antrean

Jika Anda ingin kueri dari Looker masuk ke antrean tertentu, masukkan parameter nama antrean di kolom Additional JDBC parameters di halaman Connection Settings:

?tez.queue.name=the_bi_queue

Parameter Hive lainnya dapat ditetapkan dengan cara ini di kolom Additional JDBC parameters di halaman Connection Settings.

Dengan atribut pengguna, kueri dari pengguna yang berbeda atau grup pengguna yang berbeda dapat masuk ke antrean yang berbeda. Untuk melakukannya, buat atribut pengguna yang dinamai seperti queue_name; lalu, di kolom Parameter JDBC tambahan, tambahkan berikut ini:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Anda juga dapat menggunakannya untuk menyesuaikan parameter hive-site.xml lainnya berdasarkan per pengguna atau per grup.

Membuat koneksi Looker ke database Anda

Ikuti langkah-langkah berikut untuk membuat koneksi dari Looker ke database Anda:

  1. Di bagian Admin Looker, pilih Connections, lalu klik Add Connection.

  2. Pilih Apache Hive 2.3+ atau Apache Hive 3.1.2+ dari menu drop-down Dialek.

  3. Isi detail koneksi. Sebagian besar setelan umum untuk sebagian besar dialek database. Lihat halaman dokumentasi Menghubungkan Looker ke database Anda untuk mengetahui informasi selengkapnya. Beberapa setelan dijelaskan di bawah:

    • Nama: Tentukan nama koneksi. Inilah cara Anda akan merujuk ke koneksi dalam project LookML.
    • Host: Tentukan nama host.
    • Port: Tentukan port database.
    • Database: Tentukan nama database.
    • Nama pengguna: Tentukan nama pengguna database.
    • Sandi: Tentukan sandi pengguna database.
    • Aktifkan PDT: Gunakan tombol ini untuk mengaktifkan tabel turunan persisten. Jika PDT diaktifkan, jendela Koneksi akan menampilkan setelan PDT tambahan dan bagian Penggantian PDT.
    • Temp Database: Tentukan nama skema sementara yang dibuat di bagian Persistent derived tables (PDTs) pada halaman dokumentasi ini.
    • Jumlah maksimum koneksi pembuat PDT: Tentukan jumlah kemungkinan build PDT serentak pada koneksi ini. Menyetel nilai ini terlalu tinggi dapat berdampak negatif pada waktu kueri. Untuk mengetahui informasi selengkapnya, lihat halaman dokumentasi Menghubungkan Looker ke database Anda.
    • Parameter JDBC tambahan: Tentukan parameter string JDBC tambahan.
    • Jadwal Pemeliharaan: Tentukan ekspresi cron yang menunjukkan kapan Looker harus memeriksa grup data dan tabel turunan persisten. Baca selengkapnya tentang setelan ini dalam dokumentasi Jadwal Pemeliharaan.
    • SSL: Centang untuk menggunakan koneksi SSL.
    • Verifikasi SSL: Periksa verifikasi nama host.
    • Koneksi maks per node: Setelan ini dapat dibiarkan pada nilai default pada awalnya. Lihat halaman dokumentasi Menghubungkan Looker ke database Anda untuk mengetahui informasi selengkapnya.
    • Waktu Tunggu Pool Koneksi: Setelan ini dapat dibiarkan pada nilai default pada awalnya. Baca selengkapnya tentang setelan ini di bagian Waktu Tunggu Kumpulan Koneksi pada halaman dokumentasi Menghubungkan Looker ke database Anda.
    • Prapemuatan SQL Runner: Untuk mencegah SQL Runner memuat informasi tabel terlebih dahulu dan hanya memuat informasi tabel saat tabel dipilih, hapus centang pada opsi ini. Baca selengkapnya tentang setelan ini di bagian Pra-cache SQL Runner di halaman dokumentasi Menghubungkan Looker ke database Anda.
    • Zona Waktu Database: Tentukan zona waktu yang digunakan dalam database. Kosongkan kolom ini jika Anda tidak ingin konversi zona waktu. Lihat halaman dokumentasi Menggunakan setelan zona waktu untuk mengetahui informasi selengkapnya.

  4. Untuk memverifikasi bahwa koneksi berhasil, klik Uji. Lihat halaman dokumentasi Menguji konektivitas database untuk mengetahui informasi pemecahan masalah.

  5. Untuk menyimpan setelan ini, klik Hubungkan.

Dukungan fitur

Agar Looker mendukung beberapa fitur, dialek database Anda juga harus mendukungnya.

Apache Hive 2.3+

Apache Hive 2.3+ mendukung fitur berikut mulai Looker 25.10:

Fitur Didukung?
Level dukungan
Integrasi
Looker (Google Cloud core)
Tidak
Agregat simetris
Tidak
Tabel turunan
Ya
Tabel turunan SQL persisten
Ya
Tabel turunan native persisten
Ya
Tampilan stabil
Ya
Penghentian kueri
Ya
Pivot berbasis SQL
Tidak
Zona waktu
Ya
SSL
Ya
Subtotal
Ya
Parameter tambahan JDBC
Ya
Peka huruf besar/kecil
Ya
Jenis lokasi
Ya
Jenis daftar
Ya
Persentil
Ya
Persentil berbeda
Tidak
SQL Runner Show Processes
Tidak
SQL Runner Describe Table
Ya
Tampilkan Indeks SQL Runner
Ya
SQL Runner Select 10
Ya
Jumlah SQL Runner
Ya
Penjelasan SQL
Ya
Kredensial OAuth 2.0
Tidak
Komentar konteks
Ya
Penggabungan koneksi
Tidak
Sketsa HLL
Tidak
Kesadaran agregat
Ya
PDT inkremental
Tidak
Milidetik
Ya
Mikrodetik
Ya
Tampilan terwujud
Tidak
Ukuran dari periode ke periode
Tidak
Jumlah perkiraan berbeda
Tidak

Apache Hive 3.1.2+

Apache Hive 3.1.2+ mendukung fitur berikut mulai Looker 25.10:

Fitur Didukung?
Level dukungan
Didukung
Looker (Google Cloud core)
Ya
Agregat simetris
Tidak
Tabel turunan
Ya
Tabel turunan SQL persisten
Ya
Tabel turunan native persisten
Ya
Tampilan stabil
Ya
Penghentian kueri
Ya
Pivot berbasis SQL
Tidak
Zona waktu
Ya
SSL
Ya
Subtotal
Ya
Parameter tambahan JDBC
Ya
Peka huruf besar/kecil
Ya
Jenis lokasi
Ya
Jenis daftar
Ya
Persentil
Ya
Persentil berbeda
Tidak
SQL Runner Show Processes
Tidak
SQL Runner Describe Table
Ya
Tampilkan Indeks SQL Runner
Tidak
SQL Runner Select 10
Ya
Jumlah SQL Runner
Ya
Penjelasan SQL
Ya
Kredensial OAuth 2.0
Tidak
Komentar konteks
Ya
Penggabungan koneksi
Tidak
Sketsa HLL
Tidak
Kesadaran agregat
Ya
PDT inkremental
Tidak
Milidetik
Ya
Mikrodetik
Ya
Tampilan terwujud
Tidak
Ukuran dari periode ke periode
Tidak
Jumlah perkiraan berbeda
Tidak

Langkah berikutnya

Setelah menghubungkan database ke Looker, konfigurasi opsi login untuk pengguna Anda.