Dataproc 選用 Presto 元件

當您使用選用元件功能建立 Dataproc 叢集時，可以安裝 Presto 等其他元件。本頁說明如何選擇在 Dataproc 叢集中安裝 Presto 元件。

Presto (Trino) 是開放原始碼分散式 SQL 查詢引擎。根據預設，Presto 伺服器和 Web UI 位於叢集第一個主要節點的 8060 通訊埠上 (若 Kerberos 已啟用，則為通訊埠 7778)。

根據預設，Dataproc 上的 Presto 會設定為搭配 Hive、BigQuery、Memory、TPCH 和 TPCDS 連接器運作。

使用 Presto 元件建立叢集後，您可以執行查詢：

安裝元件

請在建立 Dataproc 叢集時安裝元件。您可以將元件新增至使用 Dataproc 1.3 版和更新版本建立的叢集。

請參閱支援的 Dataproc 版本，瞭解每個 Dataproc 映像檔版本中包含的元件版本。

gcloud 指令

如要建立包含 Presto 元件的 Dataproc 叢集，請使用 gcloud dataproc clusters create cluster-name 指令搭配 --optional-components 標記。

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

設定屬性

請在 gcloud dataproc clusters create 指令中新增 --properties 標記，以設定 presto、presto-jvm 和 presto-catalog 設定屬性。

  • 應用程式屬性：使用含有 presto: 前置字的叢集屬性來設定 Presto 應用程式屬性，例如 --properties="presto:join-distribution-type=AUTOMATIC"。
  • JVM 設定屬性：使用含有 presto-jvm: 前置字元的叢集屬性，為 Presto 協調器和 worker Java 程序設定 JVM 屬性，例如 --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError"。
  • 建立新目錄及新增目錄資源：使用 presto-catalog:catalog-name.property-name 設定 Presto 目錄。

    範例：您可以搭配使用下列 `properties` 標記和 `gcloud dataproc clusters create` 指令，建立含有「prodhive」Hive 目錄的 Presto 叢集。系統會在 /usr/lib/presto/etc/catalog/ 下建立 prodhive.properties 檔案，以便啟用 prodhive 目錄。

    --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

REST API

您可以透過 Dataproc API，使用 SoftwareConfig.Component 做為 clusters.create 要求的一部分，指定 Presto 元件。

控制台

    1. 啟用元件和元件閘道。
      • 在 Google Cloud 控制台中，開啟 Dataproc 的「Create a cluster」(建立叢集) 頁面。已選取「設定叢集」面板。
      • 在「元件」部分：
        • 在「選用元件」下方，選取 Presto 和其他要安裝在叢集上的選用元件。
        • 在「元件閘道」下方，選取「啟用元件閘道」(請參閱「查看及存取元件閘道網址」)。