Memuat data ServiceNow ke BigQuery

Anda dapat memuat data dari ServiceNow ke BigQuery menggunakan BigQuery Data Transfer Service untuk konektor ServiceNow. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari ServiceNow ke BigQuery.

Batasan

Transfer data ServiceNow tunduk pada batasan berikut:

  • Menjalankan transfer data serentak pada instance ServiceNow yang sama tidak direkomendasikan.
  • Waktu interval minimum antar-transfer data berulang adalah 15 menit. Interval default untuk transfer berulang adalah 24 jam.

Sebelum memulai

Sebelum membuat transfer data ServiceNow, lakukan konfigurasi berikut untuk ServiceNow dan BigQuery.

Prasyarat ServiceNow

Prasyarat BigQuery

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat transfer, minta administrator Anda untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get pada set data target
  • bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menyiapkan transfer data ServiceNow

Transfer data ServiceNow dapat dibuat di konsol Google Cloud atau alat command line bq.

Konsol

  1. Buka halaman Transfer data di konsol Google Cloud .

    Buka Data transfers

  2. Klik Create transfer.

  3. Di bagian Source type, untuk Source, pilih ServiceNow.

  4. Di bagian Detail sumber data, lakukan hal berikut:

    • Untuk Instance ID, masukkan ID instance ServiceNow. Anda bisa mendapatkannya dari URL ServiceNow Anda—misalnya, https://INSTANCE_ID.service-now.com.
    • Untuk Username, masukkan nama pengguna ServiceNow yang akan digunakan untuk koneksi.
    • Untuk Password, masukkan sandi ServiceNow.
    • Untuk Client ID, masukkan client ID dari kredensial OAuth Anda. Untuk membuat kredensial, lihat Membuat Kredensial OAuth.
    • Untuk Rahasia klien, masukkan rahasia klien dari kredensial OAuth Anda.
    • Untuk Tabel ServiceNow yang akan ditransfer, masukkan nama tabel ServiceNow yang akan ditransfer, atau klik Jelajahi dan pilih tabel yang ingin Anda transfer.
    • Untuk Jenis nilai, pilih salah satu opsi berikut:
      • Untuk mentransfer nilai yang disimpan dalam database, pilih Aktual.
      • Untuk mentransfer nilai tampilan kolom, pilih Tampilan.
  5. Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data Anda.

  6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

  7. Di bagian Opsi jadwal, lakukan tindakan berikut:

    • Dalam daftar Frekuensi pengulangan, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Kustom. Jika Anda memilih On-demand, transfer data ini akan berjalan saat Anda memicu transfer secara manual.
    • Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.
  8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

    • Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
    • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer data ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau Anda dapat mengklik Buat topik untuk membuatnya.
  9. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer, --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Ganti kode berikut:

  • PROJECT_ID (opsional): ID project Google Cloud Anda. Jika project ID tidak ditentukan, project default akan digunakan.
  • DATA_SOURCE: sumber data (misalnya, servicenow).
  • DISPLAY_NAME: nama tampilan untuk konfigurasi transfer. Nama transfer data dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • DATASET: set data target untuk konfigurasi transfer.
  • PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data ServiceNow:

    Parameter ServiceNow Wajib diisi atau opsional Deskripsi
    connector.instanceId Wajib ID instance dari instance ServiceNow
    connector.authentication.username Wajib Nama pengguna kredensial
    connector.authentication.password Wajib Sandi kredensial
    connector.authentication.oauth.clientId Wajib Client ID OAuth yang dibuat
    connector.authentication.oauth.clientSecret Wajib Rahasia Klien OAuth yang dibuat
    connector.valueType Opsional Actual atau Display (default: Actual)

    Misalnya, perintah berikut akan membuat transfer data ServiceNow di project default dengan semua parameter yang diperlukan:

      bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=servicenow
        --display_name='My Transfer'
        --params='{"connector.authentication.oauth.clientId": "1234567890",
            "connector.authentication.oauth.clientSecret":"ABC12345",
            "connector.authentication.username":"user1",
            "connector.authentication.password":"abcdef1234",
            "connector.instanceId":"https://dev-instance.service-now.com"}'
    

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.

Pemetaan jenis data

Tabel berikut menunjukkan cara jenis data dipetakan dalam transfer data ServiceNow:

Jenis data ServiceNow Jenis data BigQuery
decimal FLOAT64
integer INTEGER
boolean BOOLEAN
glide_date DATE
glide_date_time DATETIME
glide_time INT64
reference
currency
sys_class_name
domain_id
domain_path
GUID
translated_html
journal
string
STRING

Memecahkan masalah transfer

Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah konfigurasi transfer.

Transfer gagal karena pengaktifan ServiceNow

Masalah terjadi yang menyebabkan transfer data gagal saat aplikasi Procurement, Product Catalog, atau Contract Management tidak diaktifkan di ServiceNow. Untuk memperbaikinya, aktifkan ketiga aplikasi tersebut. Misalnya, aktifkan Pengadaan.

Masalah terjadi selama menjalankan transfer

Terjadi masalah yang menyebabkan operasi transfer tidak dibuat seperti yang diinginkan. Untuk mengatasi masalah ini, lakukan langkah berikut:

  • Periksa apakah kredensial akun ServiceNow, seperti nilai Nama pengguna, Sandi, ID klien, dan Rahasia klien, valid.
  • Pastikan bahwa ID Instance adalah ID valid dari instance ServiceNow Anda.

Harga

Tidak ada biaya untuk mentransfer data ServiceNow ke BigQuery saat fitur ini dalam status Pratinjau.

Langkah berikutnya