Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Last reviewed 2024-11-27 UTC
Dokumen ini membahas bahwa tujuan pola hybrid dan multicloud analisis adalah untuk memanfaatkan pemisahan antara beban kerja transaksional dan analisis.
Dalam sistem perusahaan, sebagian besar workload termasuk dalam kategori berikut:
Workload transaksional mencakup aplikasi interaktif seperti penjualan,
pemrosesan keuangan, perencanaan sumber daya perusahaan, atau komunikasi.
Workload analytics mencakup aplikasi yang mengubah, menganalisis,
meningkatkan kualitas, atau memvisualisasikan data untuk membantu proses pengambilan keputusan.
Sistem analisis mendapatkan datanya dari sistem transaksional dengan
membuat kueri API atau mengakses database. Di sebagian besar perusahaan, sistem analytics dan
transaksi cenderung dipisahkan dan dikaitkan secara longgar. Tujuan
pola multicloud dan hybrid analisis adalah untuk memanfaatkan pemisahan
yang sudah ada ini dengan menjalankan beban kerja transaksional dan analisis di dua
lingkungan komputasi yang berbeda. Data mentah diekstraksi terlebih dahulu dari workload
yang berjalan di lingkungan komputasi pribadi, lalu dimuat ke
Google Cloud, tempat data tersebut digunakan untuk pemrosesan analisis. Beberapa hasilnya
mungkin dimasukkan kembali ke sistem transaksional.
Diagram berikut mengilustrasikan arsitektur yang mungkin secara konseptual dengan menampilkan
potensi pipeline data. Setiap jalur/panah mewakili kemungkinan opsi pipeline transformasi dan pemindahan data yang dapat didasarkan pada
ETL
atau ELT, bergantung pada
kualitas data
yang tersedia dan kasus penggunaan yang ditargetkan.
Untuk memindahkan data Anda ke Google Cloud dan mendapatkan manfaat darinya, gunakan layanan pergerakan data, rangkaian lengkap layanan penyerapan, integrasi, dan replikasi data.
Seperti yang ditunjukkan pada diagram sebelumnya, menghubungkan Google Cloud dengan
lingkungan lokal dan lingkungan cloud lainnya dapat memungkinkan berbagai kasus penggunaan
analisis data, seperti streaming data dan pencadangan database. Untuk mendukung
transpor dasar pola analisis hybrid dan multi-cloud yang
memerlukan volume transfer data yang tinggi, Cloud Interconnect dan
Cross-Cloud Interconnect
menyediakan konektivitas khusus ke penyedia cloud lokal dan lainnya.
Kelebihan
Menjalankan workload analytics di cloud memiliki beberapa keuntungan utama:
Traffic masuk—memindahkan data dari lingkungan komputasi pribadi Anda atau
cloud lain ke
Google Cloud—mungkin tidak dikenai biaya.
Workload analisis sering kali perlu memproses data dalam jumlah besar
dan dapat mengalami bursting, sehingga sangat cocok untuk di-deploy di
lingkungan cloud publik. Dengan menskalakan resource komputasi secara dinamis, Anda dapat memproses set data besar dengan cepat sambil menghindari investasi di muka atau menyediakan peralatan komputasi secara berlebihan.
Google Cloud menyediakan berbagai layanan untuk mengelola data
di sepanjang siklus prosesnya, mulai dari akuisisi awal hingga
pemrosesan dan analisis hingga visualisasi akhir.
Layanan pemindahan data di Google Cloud menyediakan rangkaian produk lengkap
untuk memindahkan, mengintegrasikan, dan mengubah data dengan lancar dengan berbagai cara.
Google Cloud membantu Anda memodernisasi dan mengoptimalkan platform data untuk memecah silo data. Menggunakan
data lakehouse
membantu menstandarkan berbagai format penyimpanan. Lakehouse data juga dapat memberikan
fleksibilitas, skalabilitas, dan ketangkasan yang diperlukan untuk membantu memastikan bahwa
data Anda menghasilkan nilai bagi bisnis Anda, bukan inefisiensi. Untuk mengetahui informasi selengkapnya, lihat BigLake.
BigQuery Omni, menyediakan daya komputasi yang berjalan secara lokal ke penyimpanan di AWS atau Azure. Tindakan ini juga membantu Anda membuat kueri data Anda sendiri yang disimpan di Amazon Simple Storage Service (Amazon S3) atau Azure Blob Storage. Kemampuan analisis multicloud ini
memungkinkan tim data mengurai silo data. Untuk informasi selengkapnya tentang cara membuat kueri data yang disimpan di luar BigQuery, lihat Pengantar sumber data eksternal.
Praktik terbaik
Untuk menerapkan pola arsitektur hybrid dan multi-cloud analisis,
pertimbangkan praktik terbaik umum berikut:
Gunakan
antrean Pub/Sub
atau
bucket Cloud Storage
untuk menyerahkan data ke Google Cloud dari sistem transaksional
yang berjalan di lingkungan komputasi pribadi Anda. Antrean atau bucket ini
dapat berfungsi sebagai sumber untuk pipeline dan
workload pemrosesan data.
Untuk men-deploy pipeline data ETL dan ELT, pertimbangkan untuk menggunakan
Cloud Data Fusion
atau
Dataflow
bergantung pada persyaratan kasus penggunaan spesifik Anda. Keduanya adalah layanan pemrosesan data yang terkelola sepenuhnya dan berfokus pada cloud untuk membuat dan mengelola pipeline data.
Untuk menemukan, mengklasifikasikan, dan melindungi aset data berharga Anda, pertimbangkan untuk menggunakan kemampuan Perlindungan Data Sensitif Google Cloud, seperti teknik de-identifikasi.
Teknik ini memungkinkan Anda menyamarkan, mengenkripsi, dan mengganti data sensitif—seperti
informasi identitas pribadi (PII)—menggunakan kunci yang dihasilkan secara acak atau
ditentukan sebelumnya, jika berlaku dan mematuhi kebijakan.
Saat melakukan transfer data awal dari lingkungan komputasi pribadi Anda
ke Google Cloud, pilih pendekatan transfer
yang paling sesuai dengan ukuran set data dan bandwidth yang tersedia. Untuk informasi
selengkapnya, lihat
Migrasi ke Google Cloud: Mentransfer set data besar.
Jika transfer atau pertukaran data antara Google Cloud dan cloud lain
diperlukan untuk jangka panjang dengan volume traffic tinggi, Anda harus mengevaluasi
penggunaan Google Cloud
Cross-Cloud Interconnect
untuk membantu Anda membangun konektivitas khusus bandwidth tinggi antara
Google Cloud dan penyedia layanan cloud lainnya (tersedia di
lokasi tertentu).
Jika enkripsi diperlukan di lapisan konektivitas, berbagai opsi
tersedia berdasarkan solusi konektivitas hybrid yang dipilih. Opsi ini
mencakup tunnel VPN, VPN dengan ketersediaan tinggi (HA) melalui Cloud Interconnect, dan
MACsec untuk Cross-Cloud Interconnect.
Gunakan alat dan proses yang konsisten di seluruh lingkungan. Dalam
skenario hybrid analisis, praktik ini dapat membantu meningkatkan efisiensi
operasional, meskipun bukan prasyarat.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2024-11-27 UTC."],[[["\u003cp\u003eThe analytics hybrid and multicloud pattern leverages the separation of transactional and analytics workloads, running them in distinct computing environments.\u003c/p\u003e\n"],["\u003cp\u003eRaw data is extracted from transactional systems in a private computing environment and loaded into Google Cloud for analytical processing, with some results potentially feeding back into transactional systems.\u003c/p\u003e\n"],["\u003cp\u003eGoogle Cloud offers numerous advantages for running analytics workloads, including cost-effective inbound data transfer, dynamic scalability for processing large datasets, and a comprehensive suite of data management services.\u003c/p\u003e\n"],["\u003cp\u003eImplementing this architecture involves best practices such as using handover networking, employing Pub/Sub or Cloud Storage for data transfer, and utilizing Cloud Data Fusion or Dataflow for building data pipelines.\u003c/p\u003e\n"],["\u003cp\u003eCross-Cloud Interconnect can be utilized to facilitate long-term, high-volume data transfer between Google Cloud and other cloud providers.\u003c/p\u003e\n"]]],[],null,["# Analytics hybrid and multicloud pattern\n\nThis document discusses that the objective of the analytics hybrid and multicloud pattern is to capitalize on the split between transactional and analytics workloads.\n\nIn enterprise systems, most workloads fall into these categories:\n\n- *Transactional* workloads include interactive applications like sales, financial processing, enterprise resource planning, or communication.\n- *Analytics* workloads include applications that transform, analyze, refine, or visualize data to aid decision-making processes.\n\nAnalytics systems obtain their data from transactional systems by either\nquerying APIs or accessing databases. In most enterprises, analytics and\ntransactional systems tend to be separate and loosely coupled. The objective of\nthe *analytics hybrid and multicloud* pattern is to capitalize on this\npre-existing split by running transactional and analytics workloads in two\ndifferent computing environments. Raw data is first extracted from workloads\nthat are running in the private computing environment and then loaded into\nGoogle Cloud, where it's used for analytical processing. Some of the results\nmight then be fed back to transactional systems.\n\nThe following diagram illustrates conceptually possible architectures by showing\npotential data pipelines. Each path/arrow represents a possible data movement\nand transformation pipeline option that can be based on\n[ETL](/learn/what-is-etl)\nor ELT, depending on the available\n[data quality](/dataplex/docs/auto-data-quality-overview)\nand targeted use case.\n\nTo move your data into Google Cloud and unlock value from it, use\n[data movement](/data-movement)\nservices, a complete suite of data ingestion, integration, and replication\nservices.\n\nAs shown in the preceding diagram, connecting Google Cloud with\non-premises environments and other cloud environments can enable various data\nanalytics use cases, such as data streaming and database backups. To power the\nfoundational transport of a hybrid and multicloud analytics pattern that\nrequires a high volume of data transfer, Cloud Interconnect and\n[Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview)\nprovide dedicated connectivity to on-premises and other cloud providers.\n\nAdvantages\n----------\n\nRunning analytics workloads in the cloud has several key advantages:\n\n- Inbound traffic---moving data from your private computing environment or other clouds to Google Cloud---[might be free of charge](/vpc/network-pricing#general).\n- Analytics workloads often need to process substantial amounts of data and can be bursty, so they're especially well suited to being deployed in a public cloud environment. By dynamically scaling compute resources, you can quickly process large datasets while avoiding upfront investments or having to overprovision computing equipment.\n- Google Cloud provides a rich set of services to manage data throughout its entire lifecycle, ranging from initial acquisition through processing and analyzing to final visualization.\n - Data movement services on Google Cloud provide a complete suite of products to move, integrate, and transform data seamlessly in different ways.\n - Cloud Storage is well suited for [building a data lake](https://cloud.google.com/blog/topics/developers-practitioners/architect-your-data-lake-google-cloud-data-fusion-and-composer).\n- Google Cloud helps you to modernize and optimize your data\n platform to break down data silos. Using a\n [data lakehouse](/discover/what-is-a-data-lakehouse#section-3)\n helps to standardize across different storage formats. It can also provide\n the flexibility, scalability, and agility needed to help ensure that your\n data generates value for your business, rather than inefficiencies. For\n more information, see\n [BigLake](/biglake).\n\n- [BigQuery Omni,](/bigquery/docs/omni-introduction)\n provides compute power that runs locally to the storage on AWS or Azure. It\n also helps you query your own data stored in Amazon Simple Storage Service\n (Amazon S3) or Azure Blob Storage. This multicloud analytics capability\n lets data teams break down data silos. For more information about querying\n data stored outside of BigQuery, see\n [Introduction to external data sources](/bigquery/docs/external-data-sources).\n\nBest practices\n--------------\n\nTo implement the *analytics hybrid and multicloud* architecture pattern,\nconsider the following general best practices:\n\n- Use the [handover networking pattern](/architecture/hybrid-multicloud-secure-networking-patterns/handover-pattern) to enable the ingestion of data. If analytical results need to be fed back to transactional systems, you might combine both the handover and the [*gated egress*](/architecture/hybrid-multicloud-secure-networking-patterns/gated-egress) pattern.\n- Use [Pub/Sub](/pubsub) queues or [Cloud Storage](/storage) buckets to hand over data to Google Cloud from transactional systems that are running in your private computing environment. These queues or buckets can then serve as sources for data-processing pipelines and workloads.\n- To deploy ETL and ELT data pipelines, consider using [Cloud Data Fusion](/data-fusion) or [Dataflow](/dataflow) depending on your specific use case requirements. Both are fully managed, cloud-first data processing services for building and managing data pipelines.\n- To discover, classify, and protect your valuable data assets, consider using Google Cloud [Sensitive Data Protection](/sensitive-data-protection) capabilities, like [de-identification techniques](/sensitive-data-protection/docs/deidentify-sensitive-data). These techniques let you mask, encrypt, and replace sensitive data---like personally identifiable information (PII)---using a randomly generated or pre-determined key, where applicable and compliant.\n- When you're performing an initial data transfer from your private\n computing environment to Google Cloud, choose the transfer approach\n that is best suited for your dataset size and available bandwidth. For more\n information, see\n [Migration to Google Cloud: Transferring your large datasets](/architecture/migration-to-google-cloud-transferring-your-large-datasets).\n\n- If data transfer or exchange between Google Cloud and other clouds\n is required for the long term with high traffic volume, you should evaluate\n using Google Cloud\n [Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview)\n to help you establish high-bandwidth dedicated connectivity between\n Google Cloud and other cloud service providers (available in certain\n [locations](/network-connectivity/docs/interconnect/concepts/cci-overview#locations)).\n\n- If encryption is required at the connectivity layer, various options are\n available based on the selected hybrid connectivity solution. These options\n include VPN tunnels, HA VPN over Cloud Interconnect, and\n [MACsec for Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview#encryption).\n\n- Use consistent tooling and processes across environments. In an\n analytics hybrid scenario, this practice can help increase operational\n efficiency, although it's not a prerequisite."]]
