Memuat data ServiceNow ke BigQuery
Anda dapat memuat data dari ServiceNow ke BigQuery menggunakan BigQuery Data Transfer Service untuk konektor ServiceNow. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari ServiceNow ke BigQuery.
Batasan
Transfer data ServiceNow tunduk pada batasan berikut:
- Menjalankan transfer data serentak pada instance ServiceNow yang sama tidak direkomendasikan.
- Waktu interval minimum antar-transfer data berulang adalah 15 menit. Interval default untuk transfer berulang adalah 24 jam.
Sebelum memulai
Sebelum membuat transfer data ServiceNow, lakukan konfigurasi berikut untuk ServiceNow dan BigQuery.
Prasyarat ServiceNow
- Untuk mengakses ServiceNow API, buat kredensial OAuth.
Semua aplikasi ServiceNow berikut harus diaktifkan di instance ServiceNow:
Prasyarat BigQuery
- Selesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
- Buat set data BigQuery untuk menyimpan data.
- Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin Identity and Access Management (IAM)
pubsub.topics.setIamPolicy
. Jika Anda hanya menyiapkan notifikasi email, izin Pub/Sub tidak diperlukan. Untuk mengetahui informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.
Peran BigQuery yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk membuat transfer, minta administrator Anda untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin
).
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk membuat transfer:
-
bigquery.transfers.update
pada pengguna -
bigquery.datasets.get
pada set data target -
bigquery.datasets.update
pada set data target
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Menyiapkan transfer data ServiceNow
Transfer data ServiceNow dapat dibuat di konsol Google Cloud atau alat command line bq.
Konsol
Buka halaman Transfer data di konsol Google Cloud .
Klik
Create transfer.Di bagian Source type, untuk Source, pilih ServiceNow.
Di bagian Detail sumber data, lakukan hal berikut:
- Untuk Instance ID, masukkan ID instance ServiceNow.
Anda bisa mendapatkannya dari URL ServiceNow Anda—misalnya,
https://INSTANCE_ID.service-now.com
. - Untuk Username, masukkan nama pengguna ServiceNow yang akan digunakan untuk koneksi.
- Untuk Password, masukkan sandi ServiceNow.
- Untuk Client ID, masukkan client ID dari kredensial OAuth Anda. Untuk membuat kredensial, lihat Membuat Kredensial OAuth.
- Untuk Rahasia klien, masukkan rahasia klien dari kredensial OAuth Anda.
- Untuk Tabel ServiceNow yang akan ditransfer, masukkan nama tabel ServiceNow yang akan ditransfer, atau klik Jelajahi dan pilih tabel yang ingin Anda transfer.
- Untuk Jenis nilai, pilih salah satu opsi berikut:
- Untuk mentransfer nilai yang disimpan dalam database, pilih Aktual.
- Untuk mentransfer nilai tampilan kolom, pilih Tampilan.
- Untuk Instance ID, masukkan ID instance ServiceNow.
Anda bisa mendapatkannya dari URL ServiceNow Anda—misalnya,
Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data Anda.
Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.
Di bagian Opsi jadwal, lakukan tindakan berikut:
- Dalam daftar Frekuensi pengulangan, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Kustom. Jika Anda memilih On-demand, transfer data ini akan berjalan saat Anda memicu transfer secara manual.
- Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.
Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:
- Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
- Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer data ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau Anda dapat mengklik Buat topik untuk membuatnya.
Klik Simpan.
bq
Masukkan perintah bq mk
dan berikan flag pembuatan transfer, --transfer_config
:
bq mk
--transfer_config
--project_id=PROJECT_ID
--data_source=DATA_SOURCE
--display_name=DISPLAY_NAME
--target_dataset=DATASET
--params='PARAMETERS'
Ganti kode berikut:
PROJECT_ID
(opsional): ID project Google Cloud Anda. Jika project ID tidak ditentukan, project default akan digunakan.DATA_SOURCE
: sumber data (misalnya,servicenow
).DISPLAY_NAME
: nama tampilan untuk konfigurasi transfer. Nama transfer data dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.DATASET
: set data target untuk konfigurasi transfer.PARAMETERS
: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh:--params='{"param":"param_value"}'
. Berikut adalah parameter untuk transfer data ServiceNow:Parameter ServiceNow Wajib diisi atau opsional Deskripsi connector.instanceId
Wajib ID instance dari instance ServiceNow connector.authentication.username
Wajib Nama pengguna kredensial connector.authentication.password
Wajib Sandi kredensial connector.authentication.oauth.clientId
Wajib Client ID OAuth yang dibuat connector.authentication.oauth.clientSecret
Wajib Rahasia Klien OAuth yang dibuat connector.valueType
Opsional Actual
atauDisplay
(default:Actual
)Misalnya, perintah berikut akan membuat transfer data ServiceNow di project default dengan semua parameter yang diperlukan:
bq mk --transfer_config --target_dataset=mydataset --data_source=servicenow --display_name='My Transfer' --params='{"connector.authentication.oauth.clientId": "1234567890", "connector.authentication.oauth.clientSecret":"ABC12345", "connector.authentication.username":"user1", "connector.authentication.password":"abcdef1234", "connector.instanceId":"https://dev-instance.service-now.com"}'
API
Gunakan metode projects.locations.transferConfigs.create
dan berikan instance resource
TransferConfig
.
Pemetaan jenis data
Tabel berikut menunjukkan cara jenis data dipetakan dalam transfer data ServiceNow:
Jenis data ServiceNow | Jenis data BigQuery |
---|---|
decimal |
FLOAT64 |
integer |
INTEGER |
boolean |
BOOLEAN |
glide_date |
DATE |
glide_date_time |
DATETIME |
glide_time |
INT64 |
reference currency sys_class_name domain_id domain_path GUID translated_html journal string
|
STRING |
Memecahkan masalah transfer
Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah konfigurasi transfer.
Transfer gagal karena pengaktifan ServiceNow
Masalah terjadi yang menyebabkan transfer data gagal saat aplikasi Procurement, Product Catalog, atau Contract Management tidak diaktifkan di ServiceNow. Untuk memperbaikinya, aktifkan ketiga aplikasi tersebut. Misalnya, aktifkan Pengadaan.
Masalah terjadi selama menjalankan transfer
Terjadi masalah yang menyebabkan operasi transfer tidak dibuat seperti yang diinginkan. Untuk mengatasi masalah ini, lakukan langkah berikut:
- Periksa apakah kredensial akun ServiceNow, seperti nilai Nama pengguna, Sandi, ID klien, dan Rahasia klien, valid.
- Pastikan bahwa ID Instance adalah ID valid dari instance ServiceNow Anda.
Harga
Tidak ada biaya untuk mentransfer data ServiceNow ke BigQuery saat fitur ini dalam status Pratinjau.
Langkah berikutnya
- Untuk ringkasan BigQuery Data Transfer Service, lihat Pengantar BigQuery Data Transfer Service.
- Untuk informasi cara menggunakan transfer, termasuk mendapatkan informasi tentang konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori pelaksanaan transfer, lihat Menangani transfer.
- Pelajari cara memuat data dengan operasi lintas-cloud.