导入和导出数据

本页面列出了将数据导入到 Bigtable 中以及从 Bigtable 中导出数据的方法。

将数据导入到 Bigtable

如需将 BigQuery 数据导入 Bigtable,请参阅 BigQuery 文档中的将数据导出到 Bigtable(反向 ETL)

您可以使用反向 ETL 对 BigQuery 数据运行持续查询,并将结果实时导出到 Bigtable。如需了解详情,请参阅 BigQuery 文档中的持续查询简介

使用模板移动或复制数据

您可以使用以下 Dataflow 模板在 Bigtable 与其他来源或目标位置之间移动或复制数据。

BigQuery

借助以下 Dataflow 模板,您可以将数据从 BigQuery 导出到 Bigtable。

Apache Cassandra to Bigtable

借助以下 Dataflow 模板,您可以将数据从 Apache Cassandra 导出到 Bigtable。

Avro 文件

借助以下 Dataflow 模板,您可以将 Bigtable 中的数据导出为 Avro 文件,然后再将数据导入回 Bigtable 中。您可以使用 Google Cloud CLI 或 Google Cloud 控制台执行这些模板。源代码可以在 GitHub 上找到。

Parquet 文件

借助以下 Dataflow 模板,您可以将 Bigtable 中的数据导出为 Parquet 文件,然后再将数据导入回 Bigtable 中。您可以使用 gcloud CLI 或 Google Cloud 控制台执行这些模板。源代码可以在 GitHub 上找到。

SequenceFile

借助以下 Dataflow 模板,您可以将 Bigtable 中的数据导出为 SequenceFile 文件,然后再将数据导入回 Bigtable 中。您可以使用 Google Cloud CLI 或 Google Cloud 控制台执行这些模板。

从“表”页面导入

您可以使用Google Cloud 控制台执行本页介绍的许多导入方法。从表格页面导入以下类型的数据:

  • CSV 数据
  • BigQuery 数据
  • Avro 文件
  • Cassandra 键空间和表
  • Parquet 文件
  • SequenceFile 文件

控制台

  1. 在 Google Cloud 控制台中打开 Bigtable 实例列表。

    打开实例列表

  2. 点击包含待导入表的实例。

  3. 在左侧窗格中,点击

    页面显示实例中的表列表。

  4. 在要向其中导入数据的表的名称旁边,点击 表操作菜单。

  5. 点击导入数据,然后选择要导入的数据类型:

    • 如果您选择 Avro、Parquet、SequenceFile 或 Cassandra,控制台会显示部分完成的 Dataflow 模板。填写作业模板,然后点击运行作业
    • 如果您选择 CSV,系统会打开 cbt CLI 终端窗口。如需了解详情,请参阅本文档的导入 CSV 数据部分。
    • 如果您选择 BigQuery,系统会打开 BigQuery Studio。 填写反向 ETL 查询并运行。

从“表”页面导出

您可以使用Google Cloud 控制台执行本页介绍的某些导出方法。从表格页面导出以下类型的数据:

  • Avro 文件
  • Parquet 文件
  • SequenceFile 文件

控制台

  1. 在 Google Cloud 控制台中打开 Bigtable 实例列表。

    打开实例列表

  2. 点击包含待导出表的实例。

  3. 在左侧窗格中,点击

    页面显示实例中的表列表。

  4. 点击表格名称旁边的 表格操作菜单。

  5. 点击导出数据,然后选择要导出的文件类型。

    控制台会显示部分完成的 Dataflow 模板。

  6. 填写作业模板,然后点击运行作业

导入 CSV 数据

您可以使用 cbt CLI 将 CSV 文件中的数据导入到 Bigtable 表中。为此,您需要确保您的环境(例如 Cloud Shell)可以访问 CSV 文件。您可以通过以下任一方式将 CSV 文件导入 Cloud Shell:

上传本地 CSV 文件

  1. 在 Cloud Shell 中,点击 更多菜单,然后选择上传
  2. 从本地机器中选择 CSV 文件。
  3. 上传文件后,请在 cbt CLI 命令中按名称引用该文件。

从 Cloud Storage 复制 CSV 文件

cbt CLI 不直接支持从 Cloud Storage 存储桶导入。您必须先将 CSV 文件从 Cloud Storage 复制到 Cloud Shell 环境。如需了解详情,请参阅将对象上传到存储桶

在您的环境中提供 CSV 文件后,使用 cbt CLI 命令导入数据。如需查看示例命令,请参阅根据输入文件批量写入多行

后续步骤