Visão geral da conexão padrão
Para simplificar seu fluxo de trabalho, configure conexões de recursos do Cloud padrão no BigQuery para criar tabelas e modelos.
O BigQuery é compatível com conexões padrão nas seguintes tabelas e modelos:
- Tabelas externas do BigLake no Cloud Storage
- Tabelas de objetos externas do Cloud Storage
- Tabelas do BigQuery para Apache Iceberg
- Modelos remotos
Os administradores configuram a conexão de recursos do Cloud padrão para um projeto.
Se você criar tabelas e modelos em um projeto, poderá escolher a conexão
padrão que os administradores configuraram especificando DEFAULT
nas
seguintes cláusulas SQL:
- A cláusula
WITH CONNECTION
de uma instruçãoCREATE TABLE
- A cláusula
REMOTE WITH CONNECTION
de uma instruçãoCREATE MODEL
.
Se você não for um administrador, não poderá modificar as permissões da conexão padrão nem outras configurações. Em vez disso, a conexão padrão é resolvida automaticamente para uma conexão existente referenciada na configuração do projeto, dando à conexão as permissões e os recursos necessários.
Antes de começar
Enable the BigQuery Connection API.
Papéis e permissões necessárias
Para saber quais são os papéis e as permissões necessários para configurar e usar conexões padrão no BigQuery, consulte Gerenciar conexões.
Provisionamento de permissões ao usar CONNECTION DEFAULT
Dependendo do tipo de tabela ou modelo criado com a conexão padrão, Google Cloud atualiza automaticamente as funções atribuídas à conta de serviço da conexão. Os papéis a seguir são atribuídos automaticamente à conta de serviço para a conexão com essas tabelas e modelos:
Tipo de tabela ou modelo | Recurso remoto | Papéis atribuídos à conta de serviço da conexão |
---|---|---|
Tabela do BigLake do Cloud Storage | Cloud Storage | roles/storage.legacyBucketReader roles/storage.legacyObjectReader |
Tabela de objetos | Cloud Storage | roles/storage.legacyBucketReader roles/storage.legacyObjectReader |
Tabelas do BigQuery para o Iceberg | Cloud Storage | roles/storage.legacyBucketWriter roles/storage.legacyObjectOwner |
Modelos remotos do BigQuery ML em modelos da Vertex AI | Modelos de propriedade do Google | roles/aiplatform.user |
Implantável em um endpoint do Model Garden | ||
Modelos de usuário | ||
Modelos ajustados | roles/aiplatform.serviceAgent |
|
Modelos remotos do BigQuery ML em serviços de IA do Cloud | Processador de documentos | roles/documentai.apiUser |
Reconhecimento de voz | roles/speech.serviceAgent |
|
PLN do Cloud | roles/serviceusage.serviceUsageConsumer |
|
Cloud Vision | roles/serviceusage.serviceUsageConsumer |
|
Cloud Translation | roles/cloudtranslate.user |
Configurar a conexão padrão de um projeto
Como administrador, configure a conexão de recursos do Cloud padrão para o projeto:
Para criar e configurar a conexão de recursos do Cloud padrão, use a instrução DDL
ALTER PROJECT SET OPTIONS
.O exemplo a seguir configura a conexão padrão para o projeto:
ALTER PROJECT PROJECT_ID SET OPTIONS ( `region-REGION.default_cloud_resource_connection_id` = CONNECTION_ID);
Substitua:
PROJECT_ID
: o ID do projeto em que você está definindo a conexão padrão.REGION
: a região da conexão.CONNECTION_ID
: o ID ou nome da conexão a ser usada como padrão para tabelas e modelos. Especifique apenas o ID ou o nome da conexão e exclua os prefixos de região e projeto anexados ao nome ou ID.
Para mais informações sobre como configurar uma conexão padrão para um projeto, consulte Gerenciar configurações padrão.
Criar tabelas usando CONNECTION DEFAULT
Os exemplos a seguir mostram como criar tabelas que especificam WITH CONNECTION
DEFAULT
no BigQuery.
Exemplo: criar uma tabela do BigLake no Cloud Storage
A expressão SQL a seguir cria uma tabela do Cloud Storage para BigLake com uma conexão padrão:
CREATE EXTERNAL TABLE PROJECT_ID.DATASET.EXTERNAL_TABLE_NAME
WITH CONNECTION DEFAULT
OPTIONS (
format = 'TABLE_FORMAT',
uris = ['BUCKET_PATH']);
Exemplo: criar uma tabela de objetos com uma conexão padrão
A expressão SQL a seguir cria uma tabela de objetos com uma conexão padrão:
CREATE EXTERNAL TABLE PROJECT_ID.DATASET.EXTERNAL_TABLE_NAME
WITH CONNECTION DEFAULT
OPTIONS (
object_metadata = 'SIMPLE'
uris = ['BUCKET_PATH']);
Exemplo: criar uma tabela do BigQuery para o Iceberg com uma conexão padrão
A expressão SQL a seguir cria uma tabela do BigQuery para o Iceberg com uma conexão padrão:
CREATE TABLE `myproject.tpch_clustered.nation` (
n_nationkey integer,
n_name string,
n_regionkey integer,
n_comment string)
CLUSTER BY n_nationkey
WITH CONNECTION DEFAULT
OPTIONS (
file_format = 'PARQUET',
table_format = 'ICEBERG',
storage_uri = 'gs://mybucket/warehouse/nation');
Criar modelos usando REMOTE WITH CONNECTION DEFAULT
Os exemplos a seguir mostram como criar modelos que especificam REMOTE WITH
CONNECTION DEFAULT
no BigQuery.
Exemplo: criar um modelo remoto em um modelo da Vertex AI
A expressão SQL a seguir cria um modelo remoto com uma conexão padrão:
CREATE OR REPLACE MODEL `mydataset.flash_model`
REMOTE WITH CONNECTION DEFAULT
OPTIONS(ENDPOINT = 'gemini-1.5-flash-001');
Exemplo: criar um modelo remoto em um serviço do Cloud AI
A expressão SQL a seguir cria um serviço de modelo remoto com uma conexão padrão:
CREATE MODEL `project_id.mydataset.mymodel`
REMOTE WITH CONNECTION DEFAULT
OPTIONS(REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1')
Exemplo: criar um modelo remoto com um endpoint HTTPS
A expressão SQL a seguir cria um modelo remoto com um endpoint HTTPS e uma conexão padrão:
CREATE MODEL `project_id.mydataset.mymodel`
INPUT(f1 INT64, f2 FLOAT64, f3 STRING, f4 ARRAY)
OUTPUT(out1 INT64, out2 INT64)
REMOTE WITH CONNECTION DEFAULT
OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/endpoints/1234')
A seguir
- Saiba mais sobre a configuração padrão no BigQuery.