创建 Amazon S3 BigLake 外部表

控制台

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，选择您要在其中创建数据集的项目。
3. 展开 more_vert 查看操作选项，然后点击创建数据集。
4. 在创建数据集页面上，指定以下详细信息：
1. 对于数据集 ID，输入唯一的数据集名称。
2. 在数据位置部分，选择受支持的区域。
3. 可选：如需自动删除表，请选中启用表过期时间复选框，并设置默认表存在时间上限（以天为单位）。表到期后，系统不会删除 Amazon S3 中的数据。
4. 如果要使用默认排序规则，请展开高级选项部分，然后选择启用默认排序规则选项。
5. 点击创建数据集。

SQL

使用 CREATE SCHEMA DDL 语句。以下示例会在 aws-us-east-1 区域中创建一个数据集：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   CREATE SCHEMA mydataset
   OPTIONS (
     location = 'aws-us-east-1');

3. 点击 play_circle 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

bq

在命令行环境中，使用 bq mk 命令创建数据集：

bq --location=LOCATION mk \
    --dataset \
PROJECT_ID:DATASET_NAME

--project_id 参数会替换默认项目。

替换以下内容：

• LOCATION：您的数据集所在的位置

  如需了解受支持的区域，请参阅位置。创建数据集后，您无法更改其位置。您可以使用 .bigqueryrc 文件设置位置的默认值。

• PROJECT_ID：您的项目 ID

• DATASET_NAME：您要创建的数据集的名称

  如需在非默认项目中创建数据集，请按照以下格式将项目 ID 添加到数据集名称：PROJECT_ID:DATASET_NAME。

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetInfo;

// Sample to create a aws dataset
public class CreateDatasetAws {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String datasetName = "MY_DATASET_NAME";
    // Note: As of now location only supports aws-us-east-1
    String location = "aws-us-east-1";
    createDatasetAws(projectId, datasetName, location);
  }

  public static void createDatasetAws(String projectId, String datasetName, String location) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      DatasetInfo datasetInfo =
          DatasetInfo.newBuilder(projectId, datasetName).setLocation(location).build();

      Dataset dataset = bigquery.create(datasetInfo);
      System.out.println(
          "Aws dataset created successfully :" + dataset.getDatasetId().getDataset());
    } catch (BigQueryException e) {
      System.out.println("Aws dataset was not created. \n" + e.toString());
    }
  }
}

控制台

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，展开您的项目，然后选择数据集。

3. 在数据集信息部分中，点击 add_box 创建表。

4. 在创建表页面的来源部分，执行以下操作：

   1. 在基于以下数据创建表部分，选择 Amazon S3。
   2. 在选择 S3 路径部分，使用 s3://BUCKET_NAME/PATH 格式输入指向 Amazon S3 数据的 URI。将 BUCKET_NAME 替换为 Amazon S3 存储桶的名称；存储桶所在的区域应与数据集所在的区域相同。将 PATH 替换为您要将导出的文件写入其中的路径；它可以包含一个通配符 *。
   3. 在文件格式部分，选择 Amazon S3 中的数据格式。支持的格式包括 AVRO、CSV、DELTA_LAKE、ICEBERG、JSONL、ORC 和 PARQUET。

5. 在目标部分，指定以下详细信息：

   1. 在数据集部分，选择相应的数据集。
   2. 在表字段中，输入表的名称。
   3. 验证表类型设置为外部表。
   4. 在连接 ID 部分，从下拉菜单中选择适当的连接 ID。如需了解连接，请参阅连接到 Amazon S3。

6. 在架构部分中，您可以启用架构自动检测功能，也可以手动指定架构（如果您拥有源文件）。如果您没有源文件，则必须手动指定架构。

   • 如需启用架构自动检测功能，请选择自动检测选项。

   • 如需手动指定架构，请让自动检测选项处于未选中状态。启用以文本形式修改，然后以 JSON 数组形式输入表架构。

7. 点击创建表。

SQL

如需创建 BigLake 表，请使用带有 WITH CONNECTION 子句的 CREATE EXTERNAL TABLE 语句：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   CREATE EXTERNAL TABLE DATASET_NAME.TABLE_NAME
     WITH CONNECTION `AWS_LOCATION.CONNECTION_NAME`
     OPTIONS (
       format = "DATA_FORMAT",
       uris = ["S3_URI"],
       max_staleness = STALENESS_INTERVAL,
       metadata_cache_mode = 'CACHE_MODE');

   替换以下内容：

   • DATASET_NAME：您创建的数据集的名称
   • TABLE_NAME：您要为此表指定的名称
   • AWS_LOCATION：Google Cloud 中的 AWS 位置（例如“aws-us-east-1”）
   • CONNECTION_NAME：您创建的连接的名称
   • DATA_FORMAT：任何受支持的 BigQuery 联合格式（例如 AVRO、CSV、DELTA_LAKE、ICEBERG 或 PARQUET [预览版]）
   • S3_URI：指向 Amazon S3 数据的 URI（例如 s3://bucket/path）
   • STALENESS_INTERVAL：指定对 BigLake 表执行的操作是否使用了缓存的元数据，以及操作使用的缓存的元数据的新鲜度。如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

     如需停用元数据缓存，请指定 0。这是默认设置。

     如需启用元数据缓存，请指定 30 分钟到 7 天之间的间隔时间字面量值。例如，指定 INTERVAL 4 HOUR 表示 4 小时过时间隔时间。使用此值时，如果缓存的元数据在过去 4 小时内刷新，则对表执行的操作会使用缓存的元数据。如果缓存的元数据早于该值，则操作会改为从 Amazon S3 中检索元数据。

   • CACHE_MODE：指定元数据缓存是自动刷新还是手动刷新。如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

     如果设置为 AUTOMATIC，元数据缓存会按系统定义的间隔时间刷新，通常在 30 到 60 分钟之间。

     如果要根据您确定的时间表刷新元数据缓存，请设置为 MANUAL。在这种情况下，您可以调用 BQ.REFRESH_EXTERNAL_METADATA_CACHE 系统过程来刷新缓存。

     如果 STALENESS_INTERVAL 设置为大于 0 的值，您必须设置 CACHE_MODE。

3. 点击 play_circle 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

示例：

CREATE EXTERNAL TABLE awsdataset.awstable
  WITH CONNECTION `aws-us-east-1.s3-read-connection`
  OPTIONS (
    format="CSV",
    uris=["s3://s3-bucket/path/file.csv"],
    max_staleness = INTERVAL 1 DAY,
    metadata_cache_mode = 'AUTOMATIC'
);

bq

创建表定义文件：

bq mkdef  \
--source_format=DATA_FORMAT \
--connection_id=AWS_LOCATION.CONNECTION_NAME \
--metadata_cache_mode=CACHE_MODE \
S3_URI > table_def

替换以下内容：

• DATA_FORMAT：任何受支持的 BigQuery 联合格式（例如 AVRO、CSV、DELTA_LAKE、ICEBERG 或 PARQUET）。
• S3_URI：指向 Amazon S3 数据的 URI（例如 s3://bucket/path）。
• AWS_LOCATION：Google Cloud 中的 AWS 位置（例如 aws-us-east-1）。

• CONNECTION_NAME：您创建的连接的名称。

• CACHE_MODE：指定元数据缓存是自动刷新还是手动刷新。仅当您还计划在后续 bq mk 命令中使用 --max_staleness 标志来启用元数据缓存时，才需要添加此标志。 如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

  如果设置为 AUTOMATIC，元数据缓存会按系统定义的间隔时间刷新，通常在 30 到 60 分钟之间。

  如果要根据您确定的时间表刷新元数据缓存，请设置为 MANUAL。在这种情况下，您可以调用 BQ.REFRESH_EXTERNAL_METADATA_CACHE 系统过程来刷新缓存。 如果 STALENESS_INTERVAL 设置为大于 0 的值，您必须设置 CACHE_MODE。

接下来，创建 BigLake 表：

bq mk --max_staleness=STALENESS_INTERVAL --external_table_definition=table_def DATASET_NAME.TABLE_NAME

替换以下内容：

• STALENESS_INTERVAL：指定对 BigLake 表执行的操作是否使用了缓存的元数据，以及操作使用的缓存元数据的新鲜度。如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

  如需停用元数据缓存，请指定 0。这是默认设置。

  如需启用元数据缓存，请指定 30 分钟到 7 天之间的间隔时间字面量值。例如，指定 INTERVAL 4 HOUR 表示 4 小时过时间隔时间。使用此值时，如果缓存的元数据在过去 4 小时内刷新，则对表执行的操作会使用缓存的元数据。如果缓存的元数据早于该值，则操作会改为从 Amazon S3 中检索元数据。

• DATASET_NAME：您创建的数据集的名称。

• TABLE_NAME：您要为此表指定的名称。

例如，以下命令会创建一个新的 BigLake 表 awsdataset.awstable，该表可以查询存储在路径 s3://s3-bucket/path/file.csv 中且在 aws-us-east-1 位置具有读取连接的 Amazon S3 数据：

bq mkdef  \
--autodetect \
--source_format=CSV \
--connection_id=aws-us-east-1.s3-read-connection \
--metadata_cache_mode=AUTOMATIC \
s3://s3-bucket/path/file.csv > table_def

bq mk --max_staleness=INTERVAL "1" HOUR \
--external_table_definition=table_def awsdataset.awstable

API

调用 tables.insert 方法 API 方法，并在传入的 Table 资源中创建 ExternalDataConfiguration。

指定 schema 属性或将 autodetect 属性设置为 true，为受支持的数据源启用架构自动检测功能。

指定 connectionId 属性，以标识用于到 Amazon S3 的连接。

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.CsvOptions;
import com.google.cloud.bigquery.ExternalTableDefinition;
import com.google.cloud.bigquery.Field;
import com.google.cloud.bigquery.Schema;
import com.google.cloud.bigquery.StandardSQLTypeName;
import com.google.cloud.bigquery.TableId;
import com.google.cloud.bigquery.TableInfo;

// Sample to create an external aws table
public class CreateExternalTableAws {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String connectionId = "MY_CONNECTION_ID";
    String sourceUri = "s3://your-bucket-name/";
    CsvOptions options = CsvOptions.newBuilder().setSkipLeadingRows(1).build();
    Schema schema =
        Schema.of(
            Field.of("name", StandardSQLTypeName.STRING),
            Field.of("post_abbr", StandardSQLTypeName.STRING));
    ExternalTableDefinition externalTableDefinition =
        ExternalTableDefinition.newBuilder(sourceUri, options)
            .setConnectionId(connectionId)
            .setSchema(schema)
            .build();
    createExternalTableAws(projectId, datasetName, tableName, externalTableDefinition);
  }

  public static void createExternalTableAws(
      String projectId,
      String datasetName,
      String tableName,
      ExternalTableDefinition externalTableDefinition) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId tableId = TableId.of(projectId, datasetName, tableName);
      TableInfo tableInfo = TableInfo.newBuilder(tableId, externalTableDefinition).build();

      bigquery.create(tableInfo);
      System.out.println("Aws external table created successfully");

      // Clean up
      bigquery.delete(TableId.of(projectId, datasetName, tableName));
    } catch (BigQueryException e) {
      System.out.println("Aws external was not created." + e.toString());
    }
  }
}

控制台

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 在浏览器窗格中，展开您的项目，然后选择数据集。

3. 点击 more_vert 查看操作，然后点击创建表。此时将打开创建表窗格。

4. 在来源部分，指定以下详细信息：

   1. 在基于以下数据创建表部分，选择 Amazon S3。

   2. 使用通配符提供文件夹的路径。例如 s3://mybucket/*。

      该文件夹必须与您要创建、附加或覆盖的表所属的数据集位于同一位置。

   3. 从文件格式列表中，选择文件类型。

   4. 选中源数据分区复选框，然后指定以下详细信息：

      1. 在选择来源 URI 前缀部分，输入 URI 前缀。例如 s3://mybucket/my_files。
      2. 可选：如需对此表的所有查询使用分区过滤条件，请选中需要分区过滤条件复选框。要求使用分区过滤条件可以减少费用并提高性能。如需了解详情，请参阅要求对查询中的分区键使用谓词过滤条件。

      3. 在分区推理模式部分中，选择以下选项之一：

         • 自动推断类型：将分区架构检测模式设置为 AUTO。
         • 所有列都是字符串：用于将分区架构检测模式设置为 STRINGS。
         • 自主提供：用于将分区架构检测模式设置为 CUSTOM，并手动输入分区键的架构信息。如需了解详情，请参阅自定义分区键架构。

5. 在目标部分，指定以下详细信息：

   1. 对于项目，选择要在其中创建表的项目。
   2. 在数据集部分，选择您要在其中创建表的数据集。
   3. 对于表，输入您要创建的表的名称。
   4. 在表类型部分，确认已选中外部表。
   5. 在连接 ID 部分，选择您之前创建的连接。

6. 在架构部分中，您可以启用架构自动检测功能，也可以手动指定架构（如果您拥有源文件）。如果您没有源文件，则必须手动指定架构。

   • 如需启用架构自动检测功能，请选择自动检测选项。

   • 如需手动指定架构，请让自动检测选项处于未选中状态。启用以文本形式修改，然后以 JSON 数组形式输入表架构。

7. 如需忽略额外列值与架构不匹配的行，请展开高级选项部分，然后选择未知值。

8. 点击创建表。

SQL

使用 CREATE EXTERNAL TABLE DDL 语句：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.EXTERNAL_TABLE_NAME`
   WITH PARTITION COLUMNS
   (
     PARTITION_COLUMN PARTITION_COLUMN_TYPE,
   )
   WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
   OPTIONS (
     hive_partition_uri_prefix = "HIVE_PARTITION_URI_PREFIX",
     uris=['FILE_PATH'],
     format ="TABLE_FORMAT"
     max_staleness = STALENESS_INTERVAL,
     metadata_cache_mode = 'CACHE_MODE'
   );

   替换以下内容：

   • PROJECT_ID：要在其中创建表的项目的名称，例如 myproject
   • DATASET：要在其中创建表的 BigQuery 数据集的名称，例如 mydataset
   • EXTERNAL_TABLE_NAME：要创建的表的名称，例如 mytable
   • PARTITION_COLUMN：分区列的名称
   • PARTITION_COLUMN_TYPE：分区列的类型
   • REGION：包含连接的区域，例如 us
   • CONNECTION_ID：Spark 连接的名称，例如 myconnection
   • HIVE_PARTITION_URI_PREFIX：Hive 分区 URI 前缀，例如：s3://mybucket/
   • FILE_PATH：要创建的外部表的数据源路径，例如：s3://mybucket/*.parquet
   • TABLE_FORMAT：要创建的表的格式，例如 PARQUET
   • STALENESS_INTERVAL：指定对 BigLake 表执行的操作是否使用了缓存的元数据，以及操作使用的缓存的元数据的新鲜度。如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

     如需停用元数据缓存，请指定 0。这是默认设置。

     如需启用元数据缓存，请指定 30 分钟到 7 天之间的间隔时间字面量值。例如，指定 INTERVAL 4 HOUR 表示 4 小时过时间隔时间。使用此值时，如果缓存的元数据在过去 4 小时内刷新，则对表执行的操作会使用缓存的元数据。如果缓存的元数据早于该值，则操作会改为从 Amazon S3 中检索元数据。

   • CACHE_MODE：指定元数据缓存是自动刷新还是手动刷新。如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

     如果设置为 AUTOMATIC，元数据缓存会按系统定义的间隔时间刷新，通常在 30 到 60 分钟之间。

     如果要根据您确定的时间表刷新元数据缓存，请设置为 MANUAL。在这种情况下，您可以调用 BQ.REFRESH_EXTERNAL_METADATA_CACHE 系统过程来刷新缓存。

     如果 STALENESS_INTERVAL 设置为大于 0 的值，您必须设置 CACHE_MODE。

3. 点击 play_circle 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

示例

以下示例基于 Amazon S3 中的分区数据创建了一个 BigLake 表。架构是自动检测的。

CREATE EXTERNAL TABLE `my_dataset.my_table`
WITH PARTITION COLUMNS
(
  sku STRING,
)
WITH CONNECTION `us.my-connection`
OPTIONS(
  hive_partition_uri_prefix = "s3://mybucket/products",
  uris = ['s3://mybucket/products/*']
  max_staleness = INTERVAL 1 DAY,
  metadata_cache_mode = 'AUTOMATIC'
);

bq

首先，使用 bq mkdef 命令创建表定义文件：

bq mkdef \
--source_format=SOURCE_FORMAT \
--connection_id=REGION.CONNECTION_ID \
--hive_partitioning_mode=PARTITIONING_MODE \
--hive_partitioning_source_uri_prefix=URI_SHARED_PREFIX \
--require_hive_partition_filter=BOOLEAN \
--metadata_cache_mode=CACHE_MODE \
 URIS > DEFINITION_FILE

替换以下内容：

• SOURCE_FORMAT：外部数据源的格式。例如 CSV。
• REGION：包含连接的区域，例如 us。
• CONNECTION_ID：Spark 连接的名称，例如 myconnection。
• PARTITIONING_MODE：Hive 分区模式。请使用下列其中一个值：
  • AUTO：自动检测键名称和类型。
  • STRINGS：自动将键名称转换为字符串。
  • CUSTOM：对来源 URI 前缀中的键架构进行编码。
• URI_SHARED_PREFIX：来源 URI 前缀。

• BOOLEAN：指定查询时是否需要谓词过滤条件。此标志是可选标志。默认值为 false。

• CACHE_MODE：指定元数据缓存是自动刷新还是手动刷新。仅当您还计划在后续 bq mk 命令中使用 --max_staleness 标志来启用元数据缓存时，才需要添加此标志。 如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

  如果设置为 AUTOMATIC，元数据缓存会按系统定义的间隔时间刷新，通常在 30 到 60 分钟之间。

  如果要根据您确定的时间表刷新元数据缓存，请设置为 MANUAL。在这种情况下，您可以调用 BQ.REFRESH_EXTERNAL_METADATA_CACHE 系统过程来刷新缓存。 如果 STALENESS_INTERVAL 设置为大于 0 的值，您必须设置 CACHE_MODE。

• URIS：Amazon S3 文件夹的路径（使用通配符格式）。

• DEFINITION_FILE：本地机器上表定义文件的路径。

如果 PARTITIONING_MODE 为 CUSTOM，请使用以下格式将分区键架构包括在来源 URI 前缀中：

--hive_partitioning_source_uri_prefix=URI_SHARED_PREFIX/{KEY1:TYPE1}/{KEY2:TYPE2}/...

创建表定义文件后，请使用 bq mk 命令来创建 BigLake 表：

bq mk --max_staleness=STALENESS_INTERVAL \
--external_table_definition=DEFINITION_FILE \
DATASET_NAME.TABLE_NAME \
SCHEMA

替换以下内容：

• STALENESS_INTERVAL：指定对 BigLake 表执行的操作是否使用了缓存的元数据，以及操作使用的缓存元数据的新鲜度。如需详细了解元数据缓存注意事项，请参阅启用元数据缓存以提高性能。

  如需停用元数据缓存，请指定 0。这是默认设置。

  如需启用元数据缓存，请指定 30 分钟到 7 天之间的间隔时间字面量值。例如，指定 INTERVAL 4 HOUR 表示 4 小时过时间隔时间。使用此值时，如果缓存的元数据在过去 4 小时内刷新，则对表执行的操作会使用缓存的元数据。如果缓存的元数据早于该值，则操作会改为从 Amazon S3 中检索元数据。

• DEFINITION_FILE：表定义文件的路径。

• DATASET_NAME：包含该表的数据集的名称。

• TABLE_NAME：您要创建的表的名称。

• SCHEMA：指定 JSON 架构文件的路径，或者以 field:data_type,field:data_type,... 格式指定架构。如需使用架构自动检测功能，请省略此参数。

示例

以下示例对 Amazon S3 数据使用 AUTO Hive 分区模式：

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=AUTO \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  --metadata_cache_mode=AUTOMATIC \
  s3://mybucket/* > mytable_def

bq mk --max_staleness=INTERVAL "1" HOUR \
  --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

以下示例对 Amazon S3 数据使用 STRING Hive 分区模式：

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=STRING \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  --metadata_cache_mode=AUTOMATIC \
  s3://mybucket/myTable/* > mytable_def

bq mk --max_staleness=INTERVAL "1" HOUR \
  --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

API

如需使用 BigQuery API 设置 Hive 分区，请在创建表定义文件时在 ExternalDataConfiguration 对象中添加 hivePartitioningOptions 对象。如需创建 BigLake 表，您还必须指定 connectionId 字段的值。

如果将 hivePartitioningOptions.mode 字段设置为 CUSTOM，则必须在 hivePartitioningOptions.sourceUriPrefix 字段中对分区键架构进行如下所示的编码：s3://BUCKET/PATH_TO_TABLE/{KEY1:TYPE1}/{KEY2:TYPE2}/...

如需在查询时强制使用谓词过滤条件，请将 hivePartitioningOptions.requirePartitionFilter 字段设置为 true。

控制台

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 如果未显示编辑器标签页，则点击add_box编写新查询。

3. 点击更多 > 查询设置。系统随即会打开查询设置对话框。

4. 在查询设置对话框中的其他设置 > 数据位置部分，选择 BigQuery Omni 区域所在的 BigQuery 区域。例如，如果 BigQuery Omni 区域为 aws-us-east-1，请指定 us-east4。

5. 选择其余字段，然后点击保存。

bq

使用 --location 标志可以将作业的处理位置设置为 BigQuery Omni 区域所在的 BigQuery 区域。 例如，如果 BigQuery Omni 区域为 aws-us-east-1，请指定 us-east4。

示例

bq query --use_legacy_sql=false --location=us-east4 \
"SELECT * FROM region-aws-us-east-1.INFORMATION_SCHEMA.JOBS limit 10;"

bq query --use_legacy_sql=false --location=asia-northeast3 \
"SELECT * FROM region-aws-ap-northeast-2.INFORMATION_SCHEMA.JOBS limit 10;"

API

如果您以编程方式运行作业，请将位置参数设置为 BigQuery Omni 区域所在的 BigQuery 区域。 例如，如果 BigQuery Omni 区域为 aws-us-east-1，请指定 us-east4。

AWS CLI

运行以下命令，应用包含使用 aws:SourceVpc 属性的条件的 S3 存储桶政策：

  aws s3api put-bucket-policy \
    --bucket=BUCKET_NAME \
    --policy "{
      \"Version\": \"2012-10-17\",
      \"Id\": \"RestrictBucketReads\",
      \"Statement\": [
          {
              \"Sid\": \"AccessOnlyToOmniVPC\",
              \"Principal\": \"*\",
              \"Action\": [\"s3:ListBucket\", \"s3:GetObject\"],
              \"Effect\": \"Allow\",
              \"Resource\": [\"arn:aws:s3:::BUCKET_NAME\",
                             \"arn:aws:s3:::BUCKET_NAME/*\"],
              \"Condition\": {
                  \"StringEquals\": {
                    \"aws:SourceVpc\": \"VPC_ID\"
                  }
              }
          }
      ]
    }"

替换以下内容：

• BUCKET_NAME：您希望 BigQuery 访问的 Amazon S3 存储桶。
• VPC_ID：与 Amazon S3 存储桶共存的 BigQuery Omni 区域的 BigQuery Omni VPC ID。您可以在本页面的表中找到此信息。

Terraform

将以下内容添加到 Terraform 配置文件中：

  resource "aws_s3_bucket" "example" {
    bucket = "BUCKET_NAME"
  }

  resource "aws_s3_bucket_policy" "example" {
    bucket = aws_s3_bucket.example.id
    policy = jsonencode({
      Version = "2012-10-17"
      Id      = "RestrictBucketReads"
      Statement = [
          {
              Sid       = "AccessOnlyToOmniVPC"
              Effect    = "Allow"
              Principal = "*"
              Action    = ["s3:GetObject", "s3:ListBucket"]
              Resource  = [
                  aws_s3_bucket.example.arn,
                  "${aws_s3_bucket.example.arn}/*"
                  ]
              Condition = {
                  StringEquals = {
                      "aws:SourceVpc": "VPC_ID"
                  }
              }
          },
      ]
    })
  }

替换以下内容：

• BUCKET_NAME：您希望 BigQuery 访问的 Amazon S3 存储桶。
• VPC_ID：与 Amazon S3 存储桶共存的 BigQuery Omni 区域的 BigQuery Omni VPC ID。