使用数据调优模型

控制台

1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

   转到 BigQuery 页面

2. 在探索器窗格中，点击您的项目名称。

3. 点击 more_vert 查看操作 > 创建数据集。

4. 在 创建数据集 页面上，执行以下操作：

   • 在数据集 ID 中，输入数据集的名称。

   • 在位置类型中，为数据集选择一个位置。

   • 点击创建数据集。

bq

1. 如需创建新数据集，请使用带有 --location 标志的 bq mk 命令：

   bq --location=LOCATION mk -d DATASET_ID

   替换以下内容：

   • LOCATION：数据集的位置。
   • DATASET_ID 是您要创建的数据集的 ID。

2. 确认已创建数据集：

   bq ls

控制台

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，点击 add 添加数据：

   

   系统随即会打开添加数据对话框。

3. 在过滤条件窗格中的数据源类型部分，选择企业应用。

   或者，在搜索数据源字段中，您可以输入 Vertex AI。

4. 在精选数据源部分中，点击 Vertex AI。

5. 点击 Vertex AI 模型：BigQuery 联合解决方案卡片。

6. 在连接类型列表中，选择 Vertex AI 远程模型、远程函数和 BigLake（Cloud 资源）。

7. 在连接 ID 字段中，输入连接的名称。

8. 点击创建连接。

9. 点击转到连接。

10. 在连接信息窗格中，复制服务账号 ID 以在后续步骤中使用。

bq

1. 在命令行环境中，创建连接：

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   --project_id 参数会替换默认项目。

   请替换以下内容：

   • REGION：您的连接区域
   • PROJECT_ID：您的 Google Cloud 项目 ID
   • CONNECTION_ID：您的连接的 ID

   当您创建连接资源时，BigQuery 会创建一个唯一的系统服务账号，并将其与该连接相关联。

   问题排查：如果您收到以下连接错误，请更新 Google Cloud SDK：

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. 检索并复制服务账号 ID 以在后续步骤中使用：

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   输出类似于以下内容：

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
   

Terraform

使用 google_bigquery_connection 资源。

如需向 BigQuery 进行身份验证，请设置应用默认凭据。如需了解详情，请参阅为客户端库设置身份验证。

以下示例在 US 区域中创建一个名为 my_cloud_resource_connection 的 Cloud 资源连接：

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

如需在 Google Cloud 项目中应用 Terraform 配置，请完成以下部分中的步骤。

准备 Cloud Shell

1. 启动 Cloud Shell。

2. 设置要应用 Terraform 配置的默认 Google Cloud 项目。

   您只需为每个项目运行一次以下命令，即可在任何目录中运行它。

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   如果您在 Terraform 配置文件中设置显式值，则环境变量会被替换。

准备目录

每个 Terraform 配置文件都必须有自己的目录（也称为“根模块”）。

1. 在 Cloud Shell 中，创建一个目录，并在该目录中创建一个新文件。文件名必须具有 .tf 扩展名，例如 main.tf。在本教程中，该文件称为 main.tf。

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. 如果您按照教程进行操作，可以在每个部分或步骤中复制示例代码。

   将示例代码复制到新创建的 main.tf 中。

   （可选）从 GitHub 中复制代码。如果端到端解决方案包含 Terraform 代码段，则建议这样做。

3. 查看和修改要应用到您的环境的示例参数。
4. 保存更改。
5. 初始化 Terraform。您只需为每个目录执行一次此操作。

   terraform init

   （可选）如需使用最新的 Google 提供程序版本，请添加 -upgrade 选项：

   terraform init -upgrade

应用更改

1. 查看配置并验证 Terraform 将创建或更新的资源是否符合您的预期：

   terraform plan

   根据需要更正配置。

2. 通过运行以下命令并在提示符处输入 yes 来应用 Terraform 配置：

   terraform apply

   等待 Terraform 显示“应用完成！”消息。

3. 打开您的 Google Cloud 项目以查看结果。在 Google Cloud 控制台的界面中找到资源，以确保 Terraform 已创建或更新它们。

控制台

1. 前往 IAM 和管理页面。

   转到“IAM 和管理”

2. 点击 person_add 授予访问权限。

3. 在新的主账号部分，输入您之前复制的服务账号 ID。

4. 点击选择角色

5. 在过滤条件中，输入 Vertex AI Service Agent，然后选择该角色。

6. 点击保存。

gcloud

使用 gcloud projects add-iam-policy-binding 命令：

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.serviceAgent' --condition=None

替换以下内容：

• PROJECT_NUMBER：您的项目编号。
• MEMBER：您之前复制的服务账号 ID。

提示列

使用表列提供提示来生成文本。

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

请替换以下内容：

• PROJECT_ID：您的项目 ID。
• DATASET_ID：包含该模型的数据集的 ID。
• MODEL_NAME：模型的名称。
• TABLE_NAME：包含提示的表的名称。此表必须有一列的名称与调优后的模型中的特征列的名称相同。在创建模型时，可以使用 PROMPT_COL 选项设置模型中的特征列名称。否则，模型中的特征列名称默认为 prompt，您也可以使用别名来使用其他名称的列。
• TOKENS：一个 INT64 值，用于设置回答中可生成的词元数上限。 此值必须在范围 [1,8192] 内。 指定较低的值可获得较短的回答，指定较高的值可获得较长的回答。 默认为 128。
• TEMPERATURE：范围 [0.0,1.0] 内的一个 FLOAT64 值，用于控制 token 选择的随机程度。默认值为 0。

  较低的 temperature 值适合需要更具确定性和较少开放性或创造性响应的提示，而较高的 temperature 值可以产生更具多样性或创造性的结果。temperature 的值为 0 表示确定性，即始终选择概率最高的回答。

• TOP_P：范围 [0.0,1.0] 内的一个 FLOAT64 值，用于确定所选词元的概率。指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。 默认值为 0.95。
• FLATTEN_JSON：一个 BOOL 值，用于确定是否在单独的列中返回生成的文本和安全属性。默认值为 FALSE。
• STOP_SEQUENCES：一个 ARRAY<STRING> 值，如果模型的回答中包含指定的字符串，则用于移除这些字符串。字符串需要完全匹配，包括大小写。默认值为空数组。
• GROUND_WITH_GOOGLE_SEARCH：一个 BOOL 值，用于确定 Vertex AI 模型在生成回答时是否使用通过 Google 搜索建立依据。通过建立依据，模型可以在生成回答时使用网络上的其他信息来生成更具体的真实模型回答。如果 flatten_json_output 和此字段都设置为 True，结果中会包含一个额外的 ml_generate_text_grounding_result 列，其中提供了模型用于收集更多信息的来源。默认值为 FALSE。
• SAFETY_SETTINGS：一个 ARRAY<STRUCT<STRING AS category, STRING AS threshold>> 值，用于配置内容安全阈值以过滤回答。该结构体中的第一个元素指定了危害类别，第二个元素指定了相应的阻塞阈值。模型会过滤掉违反这些设置的内容。您只能指定每个类别一次。例如，您不能同时指定 STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) 和 STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold)。如果给定类别没有安全设置，则系统会使用 BLOCK_MEDIUM_AND_ABOVE 安全设置。

  支持的类别如下：

  • HARM_CATEGORY_HATE_SPEECH
  • HARM_CATEGORY_DANGEROUS_CONTENT
  • HARM_CATEGORY_HARASSMENT
  • HARM_CATEGORY_SEXUALLY_EXPLICIT

  支持的阈值如下：

  • BLOCK_NONE（受限）
  • BLOCK_LOW_AND_ABOVE
  • BLOCK_MEDIUM_AND_ABOVE（默认）
  • BLOCK_ONLY_HIGH
  • HARM_BLOCK_THRESHOLD_UNSPECIFIED

  如需了解详情，请参阅安全类别和阻塞阈值的定义。

• REQUEST_TYPE：STRING 值，指定要发送到 Gemini 模型的推理请求的类型。请求类型决定了请求使用的配额。有效值如下：
  • DEDICATED：ML.GENERATE_TEXT 函数仅使用预配吞吐量配额。如果预配吞吐量配额不可用，ML.GENERATE_TEXT 函数会返回错误 Provisioned throughput is not purchased or is not active。
  • SHARED：即使您购买了预配吞吐量配额，ML.GENERATE_TEXT 函数也只会使用动态共享配额 (DSQ)。
  • UNSPECIFIED：ML.GENERATE_TEXT 函数使用如下所示的配额：
    • 如果您尚未购买预配吞吐量配额，则 ML.GENERATE_TEXT 函数会使用 DSQ 配额。
    • 如果您购买了预配吞吐量配额，ML.GENERATE_TEXT 函数会优先使用预配吞吐量配额。如果请求超出预配吞吐量配额，溢出流量将使用 DSQ 配额。

  默认值为 UNSPECIFIED。

  如需了解详情，请参阅使用 Vertex AI 预配吞吐量。

  以下示例显示了具有以下特征的请求：

  • 将 prompts 表的 prompt 列用于提示。
  • 返回概率中等的简短回答。
  • 分列返回生成的文本和安全属性。

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mymodel`,
      TABLE mydataset.prompts,
      STRUCT(
        0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
        TRUE AS flatten_json_output));

提示查询

使用查询提供提示来生成文本。

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  (PROMPT_QUERY),
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

请替换以下内容：

• PROJECT_ID：您的项目 ID。
• DATASET_ID：包含该模型的数据集的 ID。
• MODEL_NAME：模型的名称。
• PROMPT_QUERY：提供提示数据的查询。
• TOKENS：一个 INT64 值，用于设置回答中可生成的词元数上限。 此值必须在范围 [1,8192] 内。 指定较低的值可获得较短的回答，指定较高的值可获得较长的回答。 默认为 128。
• TEMPERATURE：范围 [0.0,1.0] 内的一个 FLOAT64 值，用于控制 token 选择的随机程度。默认值为 0。

  较低的 temperature 值适合需要更具确定性和较少开放性或创造性响应的提示，而较高的 temperature 值可以产生更具多样性或创造性的结果。temperature 的值为 0 表示确定性，即始终选择概率最高的回答。

• TOP_P：范围 [0.0,1.0] 内的一个 FLOAT64 值，用于确定所选词元的概率。指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。 默认值为 0.95。
• FLATTEN_JSON：一个 BOOL 值，用于确定是否在单独的列中返回生成的文本和安全属性。默认值为 FALSE。
• STOP_SEQUENCES：一个 ARRAY<STRING> 值，如果模型的回答中包含指定的字符串，则用于移除这些字符串。字符串需要完全匹配，包括大小写。默认值为空数组。
• GROUND_WITH_GOOGLE_SEARCH：一个 BOOL 值，用于确定 Vertex AI 模型在生成回答时是否使用通过 Google 搜索建立依据。通过建立依据，模型可以在生成回答时使用网络上的其他信息来生成更具体的真实模型回答。如果 flatten_json_output 和此字段都设置为 True，结果中会包含一个额外的 ml_generate_text_grounding_result 列，其中提供了模型用于收集更多信息的来源。默认值为 FALSE。
• SAFETY_SETTINGS：一个 ARRAY<STRUCT<STRING AS category, STRING AS threshold>> 值，用于配置内容安全阈值以过滤回答。该结构体中的第一个元素指定了危害类别，第二个元素指定了相应的阻塞阈值。模型会过滤掉违反这些设置的内容。您只能指定每个类别一次。例如，您不能同时指定 STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) 和 STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold)。如果给定类别没有安全设置，则系统会使用 BLOCK_MEDIUM_AND_ABOVE 安全设置。

  支持的类别如下：

  • HARM_CATEGORY_HATE_SPEECH
  • HARM_CATEGORY_DANGEROUS_CONTENT
  • HARM_CATEGORY_HARASSMENT
  • HARM_CATEGORY_SEXUALLY_EXPLICIT

  支持的阈值如下：

  • BLOCK_NONE（受限）
  • BLOCK_LOW_AND_ABOVE
  • BLOCK_MEDIUM_AND_ABOVE（默认）
  • BLOCK_ONLY_HIGH
  • HARM_BLOCK_THRESHOLD_UNSPECIFIED

  如需了解详情，请参阅安全类别和阻塞阈值的定义。

• REQUEST_TYPE：STRING 值，指定要发送到 Gemini 模型的推理请求的类型。请求类型决定了请求使用的配额。有效值如下：
  • DEDICATED：ML.GENERATE_TEXT 函数仅使用预配吞吐量配额。如果预配吞吐量配额不可用，ML.GENERATE_TEXT 函数会返回错误 Provisioned throughput is not purchased or is not active。
  • SHARED：即使您购买了预配吞吐量配额，ML.GENERATE_TEXT 函数也只会使用动态共享配额 (DSQ)。
  • UNSPECIFIED：ML.GENERATE_TEXT 函数使用如下所示的配额：
    • 如果您尚未购买预配吞吐量配额，则 ML.GENERATE_TEXT 函数会使用 DSQ 配额。
    • 如果您购买了预配吞吐量配额，ML.GENERATE_TEXT 函数会优先使用预配吞吐量配额。如果请求超出预配吞吐量配额，溢出流量将使用 DSQ 配额。

  默认值为 UNSPECIFIED。

  如需了解详情，请参阅使用 Vertex AI 预配吞吐量。

  示例 1

  以下示例显示了具有以下特征的请求：

  • 提示在 articles 表的 body 列中输入文本摘要。
  • 返回中等长度且概率较高的回答。
  • 分列返回生成的文本和安全属性。

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mymodel`,
      (
        SELECT CONCAT('Summarize this text', body) AS prompt
        FROM mydataset.articles
      ),
      STRUCT(
        0.2 AS temperature, 650 AS max_output_tokens, 0.2 AS top_p,
        TRUE AS flatten_json_output));

  示例 2

  以下示例显示了具有以下特征的请求：

  • 通过将提供提示前缀的字符串与表列串联起来，使用查询创建提示数据。
  • 返回概率中等的简短回答。
  • 不在单独的列中返回生成的文本和安全属性。

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mytuned_model`,
      (
        SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
        FROM mydataset.input_table
      ),
      STRUCT(
        0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
        FALSE AS flatten_json_output));