データのインポートとエクスポートに関するベストプラクティス

MySQL | PostgreSQL | SQL Server

このページでは、Cloud SQL を使用してデータのインポートまたはエクスポートを行う際のベストプラクティスについて説明します。Cloud SQL にデータをインポートする手順については、データのインポートをご覧ください。データが Cloud SQL にある場合も、お客様が管理しているインスタンスにある場合も、データをエクスポートするための手順については、データのエクスポートをご覧ください。

インポートとエクスポートのベストプラクティス

データをインポートおよびエクスポートする際に考慮すべきベストプラクティスは次のとおりです。

Cloud Storage リクエスト元による支払いバケットを使用しない
エクスポートのパフォーマンスへの影響を最小限に抑える
SQL ダンプファイルの作成時に正しいフラグを使用する
コスト削減のため、データを圧縮する
長時間にわたるインポートおよびエクスポートプロセスを削減する
インポートしたデータベースを確認する

Cloud Storage リクエスト元による支払いバケットを使用しない

Cloud SQL からのインポートとエクスポートに、リクエスト元による支払いが有効になっている Cloud Storage バケットは使用できません。

エクスポートのパフォーマンスへの影響を最小限に抑える

Cloud SQL からの標準エクスポートの場合、データベースがオンラインであるときにエクスポートが実行されます。エクスポートされるデータが小さい場合、影響は最小限であると考えられます。しかし、大きなデータベースがある場合や、BLOB などの大きいオブジェクトがデータベースにある場合、エクスポートによってデータベースのパフォーマンスが低下する可能性があります。これは、データベースに対するデータベースクエリとオペレーションの実行にかかる時間に影響します。エクスポートの開始後は、データベースのレスポンスが遅くなっても停止することはできません。

エクスポート中にレスポンスが低速になるのを回避するには、次のようにします。

リードレプリカからエクスポートを取得します。エクスポートを頻繁に（毎日またはそれ以上の頻度で）行う場合、エクスポートされるデータ量が少なければ、これが適切な選択肢になります。リードレプリカからエクスポートするには、Google Cloud コンソール、gcloud、または REST API を使用して、リードレプリカインスタンスに対してエクスポート機能を実行します。リードレプリカの作成と管理の方法については、リードレプリカの作成をご覧ください。

サーバーレスエクスポートを使用します。サーバーレスエクスポートを使用すると、エクスポートオペレーションをオフロードするために、個別の一時的なインスタンスが Cloud SQL によって作成されます。エクスポートオペレーションをオフロードすると、プライマリインスタンスのデータベースでクエリの送信を継続するので、通常のパフォーマンス速度でオペレーションを実行できます。データのエクスポートが完了すると、一時的なインスタンスは自動的に削除されます。大規模なデータベースの 1 回限りのエクスポートを作成する場合は、これが適切な選択肢になります。サーバーレスエクスポートオペレーションを実行するには、Google Cloud コンソール、gcloud または REST API で、offload フラグを指定してエクスポート機能を実行します。

サーバーレスエクスポートオペレーションの最中は、インスタンスの編集、インポート、フェイルオーバーなどの他の一部のオペレーションを行えます。ただし、delete を選択すると、インスタンスを削除した後、エクスポートオペレーションはしばらく停止し、その間、データはエクスポートされません。

サーバーレスエクスポートオペレーションの実行中にブロックされる可能性があるオペレーションについては、次の表をご覧ください。

現在のオペレーション	新しいオペレーション	ブロックの有無
任意のオペレーション	サーバーレスエクスポート	あり
サーバーレスエクスポート	サーバーレスエクスポートを除くオペレーション	なし
サーバーレスエクスポートを除くオペレーション	サーバーレスエクスポートを除くオペレーション	あり

サーバーレスエクスポートでは、一時インスタンスの作成に時間がかかるため、標準エクスポートよりも時間がかかります。最短でも 5 分以上かかりますが、大規模なデータベースの場合は、さらに時間がかかることもあります。使用するエクスポート方法を決定する前に、時間、パフォーマンス、費用への影響を検討してください。

SQL ダンプファイルの作成時に正しいフラグを使用する

データを SQL ダンプファイルにエクスポートするときに正しい手順で行わなかった場合、インポートが失敗する可能性があります。Cloud SQL にインポートするための SQL ダンプファイルの作成方法については、データのエクスポートをご覧ください。

コスト削減のためデータを圧縮する

Cloud SQL では、圧縮ファイルと非圧縮ファイルの両方のインポートとエクスポートがサポートされています。特に大きいインスタンスをエクスポートするときは、圧縮すると Cloud Storage の保存容量を大幅に節約でき、ストレージコストの削減にもなります。

SQL ダンプファイルや CSV ファイルをエクスポートする場合は、ファイル拡張子 .gz を使用してデータを圧縮します。ファイル拡張子 .gz のファイルは、インポートすると自動的に解凍されます。

長時間にわたるインポートおよびエクスポートプロセスの削減

処理対象のデータのサイズによっては、Cloud SQL へのインポートと Cloud SQL からのエクスポートが長時間にわたる可能性があります。その結果、次の影響があります。

長時間実行されている Cloud SQL インスタンスオペレーションを停止できません。
各インスタンスに対して実行できるインポートまたはエクスポートオペレーションは、一度に 1 つのみです。長時間にわたるインポートまたはエクスポートにより、毎日の自動バックアップなど、他のオペレーションがブロックされます。サーバーレスエクスポートの場合は、インスタンスの編集、インポート、フェイルオーバー、毎日の自動バックアップのブロック解除など、他のオペレーションを実行できます。

Cloud SQL のインポートまたはエクスポート機能をバッチサイズのより小さいデータで使用して、各オペレーションの完了に要する時間を短縮できます。

エクスポートの場合は、リードレプリカからエクスポートを行うか、サーバーレスエクスポートを使用してデータベースのパフォーマンスへの影響を最小限に抑えつつ、エクスポートの実行中にインスタンスで他のオペレーションを実行できます。

その他のヒントについては、Cloud SQL インスタンスにおける問題を診断するをご覧ください。

インポートしたデータベースを確認する

インポートが完了したら、データベースに接続し、該当するデータベースコマンドを実行して内容が正しいことを確認します。たとえば接続して、データベース、テーブル、特定のエントリを一覧表示します。

既知の制限事項

既知の制限事項のリストについては、データのインポートとエクスポートに関する問題をご覧ください。

エクスポートオペレーションの自動化

Cloud SQL にはデータベースのエクスポートを自動化するための組み込みの機能はありませんが、いくつかの Google Cloud コンポーネントを使用して、独自の自動化ツールを構築できます。詳細については、このチュートリアルをご覧ください。

トラブルシューティング

インポートオペレーションのトラブルシューティング

問題	トラブルシューティング
エラーメッセージ: `permission denied for schema public`	PostgreSQL バージョン 15 以降では、ターゲットデータベースが `template0` から作成されている場合、データのインポートが失敗することがあります。この問題を解決するには、`GRANT ALL ON SCHEMA public TO cloudsqlsuperuser` SQL コマンドを実行して、`cloudsqlsuperuser` ユーザーに公開スキーマ権限を付与します。
`HTTP Error 409: Operation failed because another operation was already in progress`	保留中のオペレーションがインスタンスにすでに存在しています。一度に実行できるオペレーションは 1 つだけです。現在のオペレーションが完了してからリクエストを試してください。
インポートオペレーションに時間がかかりすぎる。	アクティブな接続が多すぎると、インポートオペレーションが妨げられる可能性があります。未使用のオペレーションを終了します。Cloud SQL インスタンスの CPU とメモリ使用量をチェックして、十分なリソースがあることを確認します。インポートに最大限のリソースを確保するため、オペレーションを開始する前にインスタンスを再起動することをおすすめします。再起動により、次の処理が行われます。すべての接続を終了します。リソースを消費している可能性のあるタスクをすべて終了します。
ダンプファイルで参照しているユーザーが存在しない場合、インポートオペレーションが失敗することがある。	ダンプファイルをインポートする前に、オブジェクトを所有しているデータベースユーザーか、ダンプされたデータベース内のオブジェクトに対する権限が付与されているデータベースユーザーがターゲットデータベース内に存在している必要があります。そうでない場合、インポートオペレーションを実行すると、元の所有権または権限でのオブジェクトの再作成に失敗します。インポートする前に、データベースユーザーを作成します。
データをインポートした後は、データのディスク使用量が大幅に増大します。	データをインポートした後、予期しないディスク使用量が発生している可能性があります。この状況では、ポイントインタイムリカバリが使用されている可能性があります。この問題を解決するには、データをインポートした後、ログを削除してストレージを復元する必要がある場合に、ポイントインタイムリカバリを無効にします。ストレージの使用量が少なくなっても、インスタンスにプロビジョニングされたストレージのサイズは縮小されません。
エラーメッセージ: `GRANT stderr: ERROR: must be member of role ROLE_NAME`	このエラーメッセージは、Cloud SQL データベースに、Cloud Storage にアップロードされた SQL ダンプファイルをインポートしようとしたとき、そしてインポートジョブが約 4 日間実行された場合に表示されます。 `ROLE_NAME` は、移行元の PostgreSQL データベースで定義されたカスタムデータベースロールです。デフォルトの `cloudsqlsuperuser` ユーザーが SQL ダンプファイルをインポートします。ただし、このユーザーは `ROLE_NAME` ロールに属していない可能性があります。この問題を解決するには、次の操作を行います。 SQL ダンプファイルをインポートする宛先データベースに `ROLE_NAME` ロールを作成します。ファイルのインポートに `cloudsqlsuperuser` ユーザーを使用しないでください。代わりに、宛先のデータベースで `ROLE_NAME` ロールのメンバーであるユーザーを指定します。ユーザーを指定するには、次のコマンドを実行します。 `gcloud sql import sql INSTANCE URI [--async] [--database=DATABASE, -d DATABASE] [--user=USER] [GCLOUD_WIDE_FLAG …]`

エクスポートオペレーションのトラブルシューティング

問題	トラブルシューティング
`HTTP Error 409: Operation failed because another operation was already in progress.`	保留中のオペレーションがインスタンスにすでに存在しています。一度に実行できるオペレーションは 1 つだけです。現在のオペレーションが完了してからリクエストを試してください。
`HTTP Error 403: The service account does not have the required permissions for the bucket.`	バケットが存在し、バケットへのエクスポートを許可する `Storage Object Creator` ロール（`roles/storage.objectCreator`）が Cloud SQL インスタンス用のサービスアカウント（エクスポートを行っているアカウント）に付与されていることを確認します。Cloud Storage に適用される IAM ロールをご覧ください。
CSV のエクスポートは機能したが、SQL エクスポートに失敗した。	CSV 形式と SQL 形式ではエクスポート方法が異なります。SQL 形式ではデータベース全体がエクスポートされるため、完了までに時間がかかります。CSV 形式ではエクスポートに含めるデータベースの要素を定義できます。 CSV エクスポートを使用して必要なものだけをエクスポートします。
エクスポートに時間がかかりすぎる。	Cloud SQL では同時実行オペレーションの同期がサポートされません。エクスポートをオフロードします。エクスポートをオフロードするときに、Cloud SQL はソースインスタンスでエクスポートを発行するのではなく、オフロードインスタンスを起動してエクスポートを実行します。エクスポートオフロードには、ソースインスタンスでのパフォーマンス向上、エクスポート実行中の管理オペレーションのブロック解除などの利点があります。エクスポートオフロードでは、合計レイテンシがオフロードインスタンスの起動時間まで増加する可能性があります。一般に、適当なサイズのエクスポートでは、レイテンシは重要ではありません。ただし、エクスポートが小さい場合、レイテンシが増加することがあります。
拡張機能の作成のエラー。	ダンプファイルに、サポートされていない拡張機能への参照が含まれています。ダンプファイルを編集して参照を削除します。
`pg_dumpall` の使用中にエラーが発生した。	`--global` フラグを指定して `pg_dumpall` ユーティリティを使用するには、スーパーユーザーロールが必要ですが、このロールは Cloud SQL for PostgreSQL ではサポートされていません。ユーザー名を含むエクスポートオペレーションの実行中にエラーが発生しないようにするには、`--no-role-passwords` フラグも使用します。
エクスポートが完了する前にオペレーションがタイムアウトすると、`Could not receive data from client: Connection reset by peer.` というエラーメッセージが表示されます。	Cloud Storage が所定の時間（通常は約 7 分）内にデータを受信しないと、接続はリセットされます。最初のエクスポートクエリは、非常に時間がかかる可能性があります。 `pg_dump` ツールを使用して、手動でエクスポートします。
エクスポートを自動化したい。	Cloud SQL には、エクスポートを自動化する方法がありません。自動バックアップの自動化に関する記事のように、Google Cloud プロダクト（Cloud Scheduler、Pub/Sub、Cloud Run functions）を使用して、独自の自動エクスポートシステムを構築できます。

データのインポートとエクスポートに関するベスト プラクティス

インポートとエクスポートのベスト プラクティス