Halaman ini diterjemahkan oleh Cloud Translation API.

Mengonfigurasi kumpulan koneksi

Beberapa library klien Cloud Bigtable memungkinkan Anda mengonfigurasi jumlah saluran gRPC di kumpulan koneksi klien, yang juga dikenal sebagai kumpulan saluran. Dalam sebagian besar kasus, konfigurasi default sudah benar, dan tidak perlu diubah.

Kumpulan koneksi otomatis diubah ukurannya sesuai kebutuhan saat Anda menggunakan library klien Cloud Bigtable untuk Java versi 2.23.0 atau yang lebih baru, dan saat Anda menggunakan klien Cloud Bigtable HBase untuk Java versi 2.9.1 atau yang lebih baru.

Halaman ini menjelaskan cara menentukan ukuran pool koneksi yang optimal untuk aplikasi Anda, dan menyajikan cuplikan kode yang menunjukkan cara mengonfigurasi pool koneksi.

Sebelum membaca halaman ini, baca ringkasan kumpulan koneksi Bigtable untuk mempelajari cara kerjanya dan apakah Anda harus mengubahnya.

Library klien berikut menawarkan penggabungan koneksi dan memungkinkan Anda mengonfigurasi jumlah kumpulan:

Menentukan ukuran kumpulan koneksi terbaik

Idealnya, untuk memberikan ruang bagi fluktuasi traffic, kumpulan koneksi memiliki sekitar dua kali jumlah koneksi yang diperlukan untuk saturasi maksimum. Karena koneksi dapat menangani maksimum 100 permintaan serentak, antara 10 dan 50 permintaan yang belum selesai per koneksi adalah yang paling optimal. Konsep ini dijelaskan lebih mendetail dalam Kumpulan koneksi.

Pantau traffic Anda setelah melakukan perubahan dan sesuaikan jumlah koneksi di pool Anda jika perlu.

Langkah-langkah berikut membantu Anda menghitung jumlah koneksi yang optimal di kumpulan channel menggunakan metrik sisi klien seperti yang tersedia dari OpenCensus.

Dari metrik sisi klien, kumpulkan informasi berikut:
1. Jumlah maksimum kueri per detik (QPS) per klien saat aplikasi Anda menjalankan beban kerja umum.
2. Latensi rata-rata (waktu respons untuk satu permintaan) dalam md.
Tentukan jumlah permintaan yang dapat Anda kirim secara serial per detik dengan membagi 1.000 dengan nilai latensi rata-rata.
Bagilah QPS dalam detik dengan jumlah permintaan serial per detik.
Bagi hasilnya dengan 50 permintaan per saluran untuk menentukan ukuran kumpulan saluran optimal minimum. (Jika perhitungan Anda kurang dari 2, tetap gunakan minimal 2 channel untuk memastikan redundansi.)
Bagilah hasil yang sama dengan 10 permintaan per saluran untuk menentukan ukuran pool saluran optimal maksimum.

Langkah-langkah ini dinyatakan dalam persamaan berikut:

(QPS dtk ÷ (1.000 ÷ latensi md)) ÷ 50 aliran = Jumlah koneksi optimal minimum
(QPS per detik ÷ (1.000 ÷ latensi md)) ÷ 10 aliran = Jumlah koneksi optimal maksimum

Contoh

Aplikasi Anda biasanya mengirim 50.000 permintaan per detik, dan latensi rata-ratanya adalah 10 md. Bagi 1.000 dengan 10 md untuk menentukan bahwa Anda dapat mengirim 100 permintaan secara serial per detik. Bagi jumlah tersebut dengan 50.000 untuk mendapatkan paralelisme yang diperlukan untuk mengirim 50.000 QPS: 500. Setiap saluran dapat memiliki paling banyak 100 permintaan yang berjalan serentak, dan target penggunaan saluran Anda adalah antara 10 dan 50 streaming serentak. Oleh karena itu, untuk menghitung minimum, bagi 500 dengan 50 untuk mendapatkan 10. Untuk menemukan nilai maksimum, bagi 500 dengan 10 untuk mendapatkan 50. Artinya, ukuran kumpulan channel untuk contoh ini harus antara 10 dan 50 koneksi.

Menetapkan ukuran kumpulan

Contoh kode berikut menunjukkan cara mengonfigurasi jumlah kumpulan di library klien yang memungkinkan Anda menetapkan ukuran kumpulan.

Go

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigtable"
	"google.golang.org/api/option"
)

func configureConnectionPool(w io.Writer, projectID, instanceID string) error {
	// projectID := "my-project-id"
	// instanceID := "my-instance-id"
	ctx := context.Background()

	// Set up Bigtable data operations client.
	poolSize := 10
	client, err := bigtable.NewClient(ctx, projectID, instanceID, option.WithGRPCConnectionPool(poolSize))
	defer client.Close()

	if err != nil {
		return fmt.Errorf("bigtable.NewClient: %w", err)
	}

	fmt.Fprintf(w, "Connected with pool size of %d", poolSize)

	return nil
}

HBase

Contoh ini hanya berlaku untuk library klien versi sebelum 2.9.1, saat pengubahan ukuran otomatis diperkenalkan.



import static com.google.cloud.bigtable.hbase.BigtableOptionsFactory.BIGTABLE_DATA_CHANNEL_COUNT_KEY;

import com.google.cloud.bigtable.hbase.BigtableConfiguration;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Connection;

public class ConfigureConnectionPool {

  public static void configureConnectionPool(String projectId, String instanceId) {
    // String projectId = "my-project-id";
    // String instanceId = "my-instance-id";
    Configuration config = BigtableConfiguration.configure(projectId, instanceId);
    config.setInt(BIGTABLE_DATA_CHANNEL_COUNT_KEY, 10);
    try (Connection connection = BigtableConfiguration.connect(config)) {
      int poolSize = connection.getConfiguration().getInt(BIGTABLE_DATA_CHANNEL_COUNT_KEY, 0);

      System.out.println(String.format("Connected with pool size of %d", poolSize));
    } catch (Exception e) {
      System.out.println("Error during ConfigureConnectionPool: \n" + e.toString());
    }
  }
}

Java

Contoh ini hanya berlaku untuk library klien versi sebelum 2.23.0, saat pengubahan ukuran otomatis diperkenalkan.


import com.google.api.gax.grpc.InstantiatingGrpcChannelProvider;
import com.google.cloud.bigtable.data.v2.BigtableDataClient;
import com.google.cloud.bigtable.data.v2.BigtableDataSettings;
import com.google.cloud.bigtable.data.v2.stub.EnhancedBigtableStubSettings;
import java.io.IOException;

public class ConfigureConnectionPool {

  public static void configureConnectionPool(String projectId, String instanceId) {
    // String projectId = "my-project-id";
    // String instanceId = "my-instance-id";

    BigtableDataSettings.Builder settingsBuilder =
        BigtableDataSettings.newBuilder().setProjectId(projectId).setInstanceId(instanceId);

    settingsBuilder
        .stubSettings()
        .setTransportChannelProvider(
            EnhancedBigtableStubSettings.defaultGrpcTransportProviderBuilder()
                .setPoolSize(10)
                .build());

    BigtableDataSettings settings = settingsBuilder.build();
    try (BigtableDataClient dataClient = BigtableDataClient.create(settings)) {
      InstantiatingGrpcChannelProvider provider =
          (InstantiatingGrpcChannelProvider)
              settings.getStubSettings().getTransportChannelProvider();

      int poolSize = provider.toBuilder().getPoolSize();

      System.out.println(String.format("Connected with pool size of %d", poolSize));
    } catch (IOException e) {
      System.out.println("Error during ConfigureConnectionPool: \n" + e.toString());
    }
  }
}

C++

namespace cbt = ::google::cloud::bigtable;
namespace gc = ::google::cloud;
[](std::string const& project_id, std::string const& instance_id,
   std::string const& table_id) {
  auto constexpr kPoolSize = 10;
  auto options = gc::Options{}.set<gc::GrpcNumChannelsOption>(kPoolSize);
  cbt::Table table(cbt::MakeDataConnection(options),
                   cbt::TableResource(project_id, instance_id, table_id));
  std::cout << "Connected with channel pool size of " << kPoolSize << "\n";
}