Relokasi bucket

Dokumen ini menjelaskan layanan pemindahan bucket Cloud Storage yang memindahkan bucket secara tanpa server antar-lokasi geografis. Dengan pemindahan bucket, Anda dapat memindahkan bucket yang ada dari satu lokasi ke lokasi lain tanpa mengubah namanya atau memerlukan transfer data manual dalam bucket.

Berdasarkan tujuan dan penggunaan bucket, Anda harus merencanakan pemindahan bucket dengan cermat untuk meminimalkan gangguan dan memindahkan bucket dengan berhasil. Untuk mengetahui informasi selengkapnya tentang cara memindahkan bucket, lihat Memindahkan bucket.

Manfaat

Manfaat pemindahan bucket adalah sebagai berikut:

• Migrasi yang disederhanakan: Anda dapat memindahkan bucket dengan overhead operasional minimal. Tidak diperlukan skrip yang rumit atau proses multi-langkah.

• Operasi berkelanjutan: aplikasi Anda tetap dapat diakses selama proses pemindahan, tanpa periode nonaktif untuk operasi baca dan periode nonaktif minimal untuk operasi tulis.

• Peningkatan performa: menempatkan resource Compute Engine dan Cloud Storage di region yang sama dapat mengurangi latensi dan meningkatkan performa.

• Penyimpanan metadata: proses pemindahan bucket mempertahankan metadata objek. Mempertahankan metadata objek memastikan kompatibilitas dengan aplikasi dan alur kerja yang ada setelah bucket dipindahkan.

• Konfigurasi kelas penyimpanan: Anda dapat mempertahankan setelan kelas Cloud Storage yang ada, termasuk Autoclass. Mempertahankan class penyimpanan memastikan struktur biaya Anda tetap konsisten setelah pemindahan.

Kasus penggunaan

Berikut adalah kasus penggunaan yang dapat Anda capai dengan memindahkan bucket:

• Mengurangi biaya transfer data: hindari biaya transfer data dengan memindahkan bucket Anda ke lokasi yang lebih dekat dengan workload yang mengakses data bucket. Misalnya, jika data Anda disimpan di Amerika Serikat dan terutama diakses dari Eropa, Anda dapat memindahkan bucket ke lokasi Eropa untuk mengurangi biaya transfer data.

• Meningkatkan performa: tingkatkan kecepatan dan respons aplikasi Anda dengan memindahkan data lebih dekat ke workload Compute Engine Anda. Misalnya, jika aplikasi Anda berjalan di us-central1, tetapi data Anda berada di asia-east1, Anda dapat memindahkan bucket ke us-central1 untuk mengurangi latensi.

• Meningkatkan ketahanan: melindungi data penting Anda dari gangguan regional. Misalnya, jika data Anda disimpan di satu region, Anda dapat memindahkannya ke dual-region atau multi-region untuk meningkatkan ketersediaan dan pemulihan dari bencana.

Jenis relokasi

Ada dua jenis relokasi bucket:

• Pemindahan bucket dengan waktu henti tulis: dalam pemindahan bucket dengan waktu henti tulis, ada periode saat Anda tidak dapat melakukan operasi tulis objek selama proses pemindahan bucket.

• Pemindahan bucket tanpa periode nonaktif penulisan: dalam pemindahan bucket tanpa periode nonaktif penulisan, Anda dapat terus melakukan operasi penulisan objek tanpa gangguan saat pemindahan bucket terjadi di latar belakang.

Lokasi sumber dan tujuan bucket menentukan apakah relokasi bucket melibatkan periode nonaktif penulisan. Tabel berikut menunjukkan pengaruh lokasi bucket Anda terhadap waktu nonaktif penulisan selama relokasi, termasuk perbedaan antara relokasi dengan dan tanpa waktu nonaktif.

Spesifikasi	Relokasi bucket dengan periode nonaktif penulisan	Pemindahan bucket tanpa periode nonaktif penulisan
Lokasi bucket	Memindahkan bucket di antara lokasi berikut akan menyebabkan periode nonaktif: Region Dual-region Multi-region Multi-region dan dual-region standar Multi-region dan dual-region yang dapat dikonfigurasi jika kedua lokasi memiliki kode multi-region yang berbeda	Memindahkan bucket antar-lokasi berikut tidak menyebabkan periode nonaktif jika kedua lokasi tersebut memiliki kode multi-region yang sama: Dual-region yang dapat dikonfigurasi Multi-region dan dual-region yang dapat dikonfigurasi
Menulis ketersediaan	Anda tidak dapat melakukan operasi tulis selama langkah sinkronisasi akhir.	Operasi tulis akan terus berjalan tanpa gangguan selama pemindahan. Catatan: Perubahan kebijakan tanpa waktu nonaktif penulisan memerlukan waktu setidaknya tujuh hari untuk diselesaikan karena harus menunggu hingga upload yang dapat dilanjutkan selesai terlebih dahulu.
Keterlibatan pengguna	Anda harus memulai langkah penyelesaian periode nonaktif tulis.	Tidak diperlukan langkah penyelesaian eksplisit.
Dampak performa	Anda tidak dapat menulis atau memperbarui objek di bucket selama langkah sinkronisasi terakhir.	Latensi baca dan tulis objek mungkin meningkat selama pemindahan.
Pembatalan pemindahan bucket	Lebih cepat daripada relokasi tanpa waktu henti tulis.	Pembatalan tidak langsung dan dapat memakan waktu lebih lama karena perlu mengisi ulang objek.
Dukungan fitur	Memberikan dukungan fitur yang lebih sedikit daripada relokasi tanpa periode nonaktif tulis. Untuk mengetahui informasi selengkapnya tentang fitur yang tidak didukung, lihat Fitur yang tidak didukung.	Batasan ada untuk fitur seperti upload multi-bagian, kebijakan retensi, Firebase, dan appspot. Untuk mengetahui informasi selengkapnya tentang batasan ini, lihat Batasan.
Durasi relokasi minimum	Tidak ada	Tujuh hari

Memahami proses pemindahan bucket

Relokasi bucket membantu Anda memindahkan data dari bucket sumber ke bucket tujuan. Bucket sumber menyimpan data yang ingin Anda pindahkan dan bucket tujuan adalah tempat Anda ingin memindahkan data.

Diagram berikut menunjukkan alur proses pemindahan bucket:

^* Sinkronisasi akhir hanya diperlukan untuk relokasi dengan waktu nonaktif penulisan.

Tabel berikut mencantumkan tiga langkah utama dan deskripsi untuk setiap langkah:

Langkah	Deskripsi
Lakukan uji coba (Opsional)	Mensimulasikan proses pemindahan bucket untuk mengidentifikasi potensi masalah sebelum transfer data yang sebenarnya dimulai.
Memulai langkah penyalinan data inkremental	Menyalin data dari bucket sumber ke bucket tujuan. Metadata bucket dikunci untuk mencegah perubahan apa pun pada bucket yang dapat memengaruhi proses pemindahan. Namun, Anda dapat menulis, mengubah, dan menghapus objek dalam bucket. Faktor-faktor yang memengaruhi durasi adalah sebagai berikut: Frekuensi pembaruan, penghapusan, atau penambahan objek dalam bucket secara langsung memengaruhi durasi penyalinan. Tingkat perubahan yang lebih tinggi memerlukan waktu yang lebih lama. Ada kecepatan pergerakan objek maksimum `Rm, objects/second`. Dengan total `N` objek dan kecepatan update `R objects/second`, durasi langkah penyalinan dapat diperkirakan sebagai `N / (Rm - R)` detik. Bucket besar memerlukan waktu relokasi yang lebih lama karena bandwidth terbatas. Ukuran setiap objek memengaruhi waktu penyalinan. Objek yang berukuran lebih dari 10 GB memerlukan waktu lebih lama untuk ditransfer daripada objek yang berukuran di bawah 10 GB karena batasan bandwidth. Misalnya, objek 1 TB memerlukan waktu satu hari untuk disalin.
Mulai langkah sinkronisasi akhir (Hanya diperlukan untuk relokasi dengan waktu nonaktif tulis)	Setelah Anda memulai sinkronisasi akhir, bucket akan dikunci untuk penulisan. Akibatnya, Anda tidak dapat menulis atau memperbarui objek apa pun dalam bucket selama waktu ini, sehingga mencegah inkonsistensi data. Namun, Anda dapat terus membaca dari bucket. Setelah semua data ditransfer dan diverifikasi, serta bucket beroperasi di lokasi baru, kunci tulis akan dihapus secara otomatis. Kemudian, Anda dapat melanjutkan penulisan dan memperbarui objek dalam bucket.

Batasan

Layanan pemindahan bucket mendukung hingga lima pemindahan serentak dari lokasi yang sama dalam project.

Bagian berikut menjelaskan batasan yang berlaku untuk relokasi dengan waktu nonaktif tulis dan tanpa waktu nonaktif tulis.

Relokasi dengan batasan periode nonaktif penulisan

Relokasi dengan waktu nonaktif penulisan memiliki batasan yang tercantum di bagian berikut.

Batasan penanganan data

Berikut adalah batasan saat menangani data selama relokasi:

• Kerusakan tabel: Tabel eksternal BigLake dan tabel BigQuery yang menggunakan Apache Iceberg akan rusak dan memerlukan pembuatan ulang secara manual. Deteksi otomatis tabel yang terpengaruh tidak tersedia.

• Penanganan objek Autoclass: Autoclass menggunakan pola akses untuk menentukan kapan harus mentransisikan objek ke kelas penyimpanan yang lebih jarang diakses. Selama sinkronisasi akhir proses pemindahan bucket, Autoclass dijeda dan objek tidak ditransisikan ke kelas penyimpanan yang lebih jarang diakses. Setelah sinkronisasi akhir selesai, Autoclass akan dilanjutkan.

  • Objek dalam kelas penyimpanan Standard ditangani sebagai berikut:

    • Objek kelas penyimpanan Standard memiliki periode tidak ada akses selama 30 hari sebelum dapat ditransisikan ke kelas yang lebih jarang diakses seperti Nearline Storage. Saat objek dalam kelas penyimpanan Standard dipindahkan selama relokasi, objek tersebut diperlakukan seolah-olah telah diakses. Akibatnya, proses pemindahan akan mereset periode tidak ada akses dan meskipun objek hampir ditransisikan ke Nearline Storage sebelum pemindahan, objek harus menunggu 30 hari lagi setelah pemindahan selesai.

  • Objek dalam kelas penyimpanan non-Standar ditangani sebagai berikut:

    • Memindahkan objek di kelas penyimpanan Nearline Storage, Coldline Storage, atau Archive Storage tidak dihitung sebagai mengaksesnya. Akibatnya, periode tanpa akses untuk objek ini tidak terpengaruh.

    • Saat memindahkan bucket, jika Anda sering mengakses objek di bucket dengan kelas penyimpanan non-Standard, seperti Nearline Storage, Coldline Storage, atau Archive Storage, bucket tidak akan otomatis beralih ke kelas penyimpanan yang lebih sering diakses. Misalnya, bucket tidak secara otomatis bertransisi dari Archive storage ke Coldline storage atau dari Coldline storage ke Standard storage, meskipun objek sering diakses. Perilaku ini mencegah transisi kelas penyimpanan otomatis selama relokasi.

    • Jika objek dijadwalkan untuk bertransisi ke kelas penyimpanan yang lebih jarang diakses, seperti dari Nearline storage ke Coldline storage, proses pemindahan tidak akan mengganggu jadwal. Transisi berlanjut sesuai rencana setelah relokasi selesai.

• Batas ukuran objek: Batas 2 TB berlaku untuk ukuran objek yang akan dipindahkan.

Upload multibagian

Upload multibagian tidak didukung untuk relokasi bucket dengan waktu henti tulis, terlepas dari statusnya, baik sudah selesai, sedang berlangsung, atau dimulai selama relokasi. Jika Anda telah menyelesaikan upload multibagian di bucket yang ingin dipindahkan, Anda harus mengupload ulang objek tanpa menggunakan metode multibagian dan menghapus upload multibagian. Jika tidak, pemindahan akan gagal. Jika Anda mengupload objek menggunakan upload multipart selama relokasi bucket dengan waktu nonaktif penulisan, error FAILED_PRECONDITION akan terjadi.

Fitur yang tidak didukung

Bucket yang menggunakan fitur berikut tidak dapat dipindahkan:

• Kunci enkripsi yang dikelola pelanggan (CMEK) atau Kunci enkripsi yang disediakan pelanggan (CSEK).

• Kebijakan retensi yang terkunci.

• Objek dengan penangguhan sementara.

• Bucket dengan namespace hierarkis diaktifkan.

• Tag. Sebaiknya jangan menambahkan tag selama relokasi karena akan menyebabkan proses relokasi gagal.

• Nonaktifkan Anywhere Cache. Meskipun Anywhere Cache dapat diaktifkan selama langkah penyalinan data inkremental, hal ini mencegah langkah sinkronisasi akhir selesai.

• Bucket Appspot. Pertimbangkan untuk memigrasikan Container Registry ke Artifact Registry sebagai solusi untuk bucket default yang dibuat oleh App Engine.

• Bucket Firebase. Anda tidak dapat memindahkan bucket yang terkait dengan Firebase.

Batasan operasional

Pemindahan bucket dengan periode nonaktif penulisan memiliki batasan operasional berikut:

• Batasan project: Anda tidak dapat memindahkan bucket di seluruh project.

• Upload yang dapat dilanjutkan: upload yang dapat dilanjutkan yang sedang berlangsung harus diselesaikan sebelum langkah sinkronisasi terakhir untuk menghindari kehilangan data.

• Pembaruan metadata: Anda tidak dapat memperbarui metadata bucket selama pemindahan.

• Peningkatan kecepatan permintaan: bucket yang dipindahkan tunduk pada panduan peningkatan kecepatan permintaan yang sama seperti bucket yang baru dibuat.

Batasan relokasi tanpa periode nonaktif penulisan

Pemindahan bucket tanpa periode nonaktif penulisan memiliki batasan berikut:

• Kebijakan retensi: semua kebijakan retensi harus dibuka sebelum relokasi.

• Bucket Firebase dan Appspot: relokasi tidak didukung untuk bucket yang terkait dengan Firebase atau Appspot.

• Pembaruan progres: pembaruan progres relokasi mungkin tidak linier.

• Upload multibagian: hanya upload multibagian yang selesai yang didukung selama pemindahan bucket. Upload multibagian yang sedang berlangsung tidak didukung untuk objek selama pemindahan bucket dan harus diselesaikan atau dibatalkan sebelum pemindahan bucket. Anda harus mengupload ulang objek tanpa menggunakan metode multibagian. Jika Anda mengupload objek menggunakan upload multibagian selama pemindahan bucket, terjadi error FAILED_PRECONDITION.

Lokasi yang tidak didukung

Pemindahan bucket tidak didukung untuk bucket sumber dan tujuan di lokasi berikut:

Jenis lokasi	Lokasi yang tidak didukung
Wilayah	ME-CENTRAL1 ME-WEST1
Dual-region standar	EUR5 EUR7 EUR8

Harga

Untuk mengetahui detail tentang harga yang terkait dengan pemindahan bucket, lihat harga Cloud Storage.

Langkah berikutnya

• Pelajari cara merencanakan pemindahan bucket.
• Pelajari cara memindahkan bucket.