トラブルシューティング

特定の Cloud SQL インスタンスのすべてのオペレーションを確認するには、gcloud sql operations list コマンドを実行します。

ユーザーを特定するには、ログを表示してテキストでフィルタします。個人情報の監査ログが必要になる場合があります。関連するログファイルは次のとおりです。

• cloudsql.googleapis.com/postgres.log
• Cloud Audit Logs が有効で、表示に必要な権限がある場合は、cloudaudit.googleapis.com/activity を使用できる場合があります。

インスタンスの完全削除後にデータを復元することはできません。ただし、インスタンスが復元されると、バックアップも復元されます。削除したインスタンスの復元について詳しくは、復元バックアップをご覧ください。

エクスポートを行っていれば、新しいインスタンスを作成してインポートを行い、データベースを再作成できます。エクスポートでは Cloud Storage への書き込みが行われ、インポートでは Cloud Storage からの読み取りが行われます。

オペレーションをキャンセルする必要がある場合は、カスタマー サポートにインスタンスの force restart を依頼できます。

SQL ダンプを復元する前に、データベース ユーザーを作成します。

バックアップを無期限に保持する場合は、オンデマンド バックアップを作成します。オンデマンド バックアップは、自動バックアップと同じ方法では削除されません。オンデマンド バックアップは無期限に維持されます。つまり、削除されるか、所属するインスタンスが削除されるまで保持されます。このタイプのバックアップは自動的に削除されないため、課金に影響する可能性があります。

• オープン接続が多すぎる可能性があります。接続数が多すぎる原因として、切断された接続をクリーンアップする autovacuum 設定が存在しないために接続の途中でエラーが発生していることが考えられます。
• カスタムコードで数回エラーが起きても停止しない再試行ロジックが使用されているため、ループが発生している可能性があります。
• トラフィックが多すぎる可能性があります。接続プーリングなどの接続のベスト プラクティスを使用します。

次の方法をお試しください。

1. データベースが autovacuum を使用する設定になっていることを確認します。
2. カスタムコードに接続再試行ロジックが設定されているかを確認します。
3. データベースが復旧するまでトラフィックを減らし、復旧後に徐々にトラフィックを増やします。

CREATE UNLOGGED TABLE ....

これらのテーブルはバックアップからの復元には含まれません。

• ログに記録されていないテーブルの内容は、HA インスタンスのフェイルオーバー後に保持されません。
• ログに記録されていないテーブルは、Postgres のクラッシュ後に保持されません。
• ログに記録されないテーブルはリードレプリカに複製されません。
• ログに記録されていないテーブルは、バックアップの復元中に自動的にワイプされます。

解決策としては、バックアップを使用してテーブルを復元する場合に、ログに記録されていないテーブルを使用しないことです。すでにログに記録されていないテーブルがあるデータベースから復元する場合は、データベースをファイルにダンプし、これらのテーブルのダンプ済みファイルを ALTER TABLE から SET LOGGED に変更した後にデータを再読み込みできます。

完了した、失敗した、またはキャンセルされたインポートまたはエクスポートのオペレーションをキャンセルしようとしています。実行中のオペレーションはキャンセルできます。

Cloud SQL には、IMPORT または EXPORT 以外のオペレーション タイプがあるため、オペレーションのキャンセルをサポートしていません。

現時点では、Cloud SQL はインポート オペレーションとエクスポート オペレーションをキャンセルできません。しばらくしてから、もう一度お試しください。問題が解決しない場合は、Google Cloud サポートまでご連絡ください。

可能であれば、Cloud SQL インスタンスからすべての Authorized Networks エントリを削除します。それができない場合は、Authorized Networks エントリなしでレプリカを作成します。

Google Cloud コンソールを使用して、プライベート IP アドレスを持つインスタンスのクローンを作成しようとしていますが、割り振られた IP 範囲を指定しなかったため、ソース インスタンスが指定した範囲で作成されていません。その結果、クローニングされたインスタンスはランダムな範囲に作成されます。

gcloud を使用してインスタンスのクローンを作成し、
--allocated-ip-range-name パラメータの値を指定します。詳細については、プライベート IP を使用したインスタンスのクローン作成をご覧ください。

• ネットワークが不安定。
• TCP keep-alive コマンドに応答しない（クライアントまたはサーバーのいずれかが応答しないか、過負荷の可能性があります）。
• データベース エンジン接続の存続期間を超えたため、サーバーが接続を終了している。

アプリケーションは、接続プールや再試行などのベスト プラクティスに従ってネットワーク障害に対応する必要があります。通常、可能であれば、これらのエラーが接続プーラーによって検出されます。エラーが検出されない場合、アプリケーションは、再試行するか安全に失敗する必要があります。

接続の再試行には、次の方法をおすすめします。

1. 指数バックオフ。再試行の間隔を指数関数的に増やします。
2. ランダム化されたバックオフも追加します。

これらの方法を組み合わせると、スロットリングが減ります。

クライアント証明書の有効期限が切れているか、証明書のパスが正しくありません。

証明書を再作成して再生成します。

デフォルト ユーザーで接続してから、ユーザーを変更します。

ホストアドレスが、サーバー証明書の代替名のアドレスと一致しません。

verify-full または同等の Node.js を使用している場合は、servername パラメータに DNS 名を使用してください。DNS 名は、openssl を使用してサーバー証明書で確認できます。例: openssl x509 -in server-cert.pem -noout -text |grep 'DNS:'。

 ssl: {
  rejectUnauthorized: true,
  ca: fs.readFileSync("/path/to/server/CA"),
  servername: 'N-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx.us-central1.sql.goog'
}

• プライベート サービス接続に割り振られた IP 範囲のサイズが /24 より小さい。
• プライベート サービス接続に割り振られた IP 範囲のサイズが、Cloud SQL インスタンスの数に対して小さすぎる。
• インスタンスを複数のリージョンで作成すると、割り振られた IP 範囲のサイズに関する要件が大きくなります。割り振られた範囲のサイズをご覧ください。

この問題を解決するには、既存の割り振られた IP 範囲を拡張するか、プライベート サービス接続に追加の IP 範囲を割り振ります。詳細については、IP アドレス範囲を割り振るをご覧ください。

Cloud SQL インスタンスの作成時に --allocated-ip-range-name フラグを使用した場合は、指定した IP 範囲のみ拡張できます。

新しい範囲を割り当てる場合は、割り当てが既存の割り当てと重複しないように注意してください。

新しい IP 範囲を作成した後、次のコマンドを使用して VPC ピアリングを更新します。

gcloud services vpc-peerings update \
--service=servicenetworking.googleapis.com \
--ranges=OLD_RESERVED_RANGE_NAME,NEW_RESERVED_RANGE_NAME \
--network=VPC_NETWORK \
--project=PROJECT_ID \
--force
    

既存の割り振りを拡張する場合は、割り振り範囲を増やすのみとし、減らさないように注意してください。たとえば、元の割り振りが 10.0.10.0/24 だった場合、新しい割り振りを少なくとも 10.0.10.0/23 に設定します。

一般的に、/24 の割り振りから開始する場合は、各条件（追加のインスタンス タイプのグループ、追加のリージョン）で /mask を 1 つずつ減らすのが基本的なルールです。たとえば、同じ割り振りで両方のインスタンス タイプのグループを作成しようとしている場合も、/24 から /23 にするだけで十分です。

既存の IP 範囲を拡張した後、次のコマンドを使用して vpc ピアリングを更新します。

gcloud services vpc-peerings update \
--service=servicenetworking.googleapis.com \
--ranges=RESERVED_RANGE_NAME \
--network=VPC_NETWORK \
--project=PROJECT_ID
    

CSV エクスポートを使用して必要なものだけをエクスポートします。

エクスポートをオフロードします。エクスポートをオフロードするときに、Cloud SQL はソース インスタンスでエクスポートを発行するのではなく、オフロード インスタンスを起動してエクスポートを実行します。エクスポート オフロードには、ソース インスタンスでのパフォーマンス向上、エクスポート実行中の管理オペレーションのブロック解除などの利点があります。エクスポート オフロードでは、合計レイテンシがオフロード インスタンスの起動時間まで増加する可能性があります。一般に、適当なサイズのエクスポートでは、レイテンシは重要ではありません。ただし、エクスポートが小さい場合、レイテンシが増加することがあります。

ダンプファイルを編集して参照を削除します。

pg_dump ツールを使用して、手動でエクスポートします。

自動バックアップの自動化に関する記事のように、Google Cloud プロダクト（Cloud Scheduler、Pub/Sub、Cloud Run functions）を使用して、独自の自動エクスポート システムを構築できます。

データベースに接続し、データベースのタイムゾーンをユーザーごとまたはデータベースごとに希望するタイムゾーンに設定します。

Cloud SQL for PostgreSQL では、次の項目を指定できます。これらの設定は、セッションを終了しても残り、.conf 構成を再現します。

ALTER DATABASE dbname SET TIMEZONE TO 'timezone';
ALTER USER username SET TIMEZONE TO 'timezone';

これらの設定は、データベースへの新しい接続にのみ適用されます。タイムゾーンの変更を確認するには、インスタンスから接続解除して再接続します。

インスタンスを編集してより大きなマシンサイズにアップグレードし、CPU とメモリのサイズを大きくします。

未使用のオペレーションを終了します。Cloud SQL インスタンスの CPU とメモリ使用量をチェックして、十分なリソースがあることを確認します。インポートに最大限のリソースを確保するため、オペレーションを開始する前にインスタンスを再起動することをおすすめします。

再起動により、次の処理が行われます。

• すべての接続を終了します。
• リソースを消費している可能性のあるタスクをすべて終了します。

インポートする前に、データベース ユーザーを作成します。

データをインポートした後、予期しないディスク使用量が発生している可能性があります。この状況では、ポイントインタイム リカバリが使用されている可能性があります。

この問題を解決するには、データをインポートした後、ログを削除してストレージを復元する必要がある場合に、ポイントインタイム リカバリを無効にします。ストレージの使用量が少なくなっても、インスタンスにプロビジョニングされたストレージのサイズは縮小されません。

このエラー メッセージは、Cloud SQL データベースに、Cloud Storage にアップロードされた SQL ダンプファイルをインポートしようとしたとき、そしてインポート ジョブが約 4 日間実行された場合に表示されます。

ROLE_NAME は、移行元の PostgreSQL データベースで定義されたカスタム データベース ロールです。デフォルトの cloudsqlsuperuser ユーザーが SQL ダンプファイルをインポートします。ただし、このユーザーは ROLE_NAME ロールに属していない可能性があります。

この問題を解決するには、次の操作を行います。

1. SQL ダンプファイルをインポートする宛先データベースに ROLE_NAME ロールを作成します。

2. ファイルのインポートに cloudsqlsuperuser ユーザーを使用しないでください。代わりに、宛先のデータベースで ROLE_NAME ロールのメンバーであるユーザーを指定します。ユーザーを指定するには、次のコマンドを実行します。

   gcloud sql import sql INSTANCE URI [--async]
[--database=DATABASE, -d DATABASE] [--user=USER] [GCLOUD_WIDE_FLAG …]

log_statement フラグを none、logging_collector フラグを off に設定できます。ロギングがまだ行われている場合は、他のログ関連のフラグを調整できます。インスタンスを編集して、これらのフラグを変更できます。

たとえば、ユーザーが削除され、誰がその操作を行ったのかを確認できない場合があります。ログでは、オペレーションが開始したことは確認できますが、それ以上の情報は記録されません。このような詳細な個人情報（PII）を記録するには、監査ログを有効にする必要があります。

ログを JSON 形式でダウンロードするには:

gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d" \
> downloaded-log.json
    

ログをテキスト形式でダウンロードするには:

gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d"| jq -rnc --stream 'fromstream(1|truncate_stream(inputs)) \
| .textPayload' \
--order=asc
> downloaded-log.txt
   

1. ターミナルからデータベースに接続します。

   gcloud sql connect INSTANCE_NAME
         

2. 次のコマンドを実行して拡張機能を作成します。

   CREATE EXTENSION pgaudit;
         

3. データベースを終了し、ターミナルから次のコマンドを実行します。

   gcloud sql instances patch INSTANCE_NAME \
   --database-flags=cloudsql.enable_pgaudit=on,pgaudit.log=all
        

SELECT datname, usename, application_name as appname, client_addr, state, now() - backend_start as conn_age, now() - xact_start as xact_age, now() - query_start as query_age, now() - state_change as last_activity_age, wait_event_type, wait_event, query FROM pg_stat_activity WHERE state <> 'idle' ORDER BY 8 DESC LIMIT 20;

SELECT name, setting, unit FROM pg_settings WHERE name = 'FIELD_NAME'.

SHOW SETTING_NAME;

すべての設定を表示するには、SHOW ALL; を実行します。

次のコマンドを実行します。

1.       GRANT pg_signal_backend TO USERNAME;
         

2. ブロックされたプロセスまたは停滞しているプロセスのプロセス ID を確認します。

         SELECT pid, usename, state, query FROM pg_stat_activity;
         

3. 次のコマンドを使用して、実行中のプロセスまたはアイドル プロセスを停止します。

         SELECT pg_cancel_backend(pid)
               FROM pg_stat_activity
               WHERE usename = 'USERNAME';
         
         

         SELECT pg_terminate_backend(pid)
               FROM pg_stat_activity
               WHERE usename = 'USERNAME';
         
         

autovacuum ジョブがブロックされるか、ワークロードの速度に対応できる速さでトランザクション ID が再利用されていない可能性があります。

トランザクションのラップアラウンド問題によるサービス停止を回避するために、TXID ラップアラウンドの処理に関するセルフサービスのヒントをご覧ください。

一般的な調整のアドバイスについては、PostgreSQL における VACUUM オペレーションの最適化、モニタリング、トラブルシューティングをご覧ください。

再起動すると一時ファイルは削除されますが、保存容量は減りません。インスタンスのサイズをリセットできるのはカスタマー サポートのみです。

削除時刻の前後のログで、ダッシュボードや別の自動プロセスから不正なスクリプトが実行されていないかどうかを確認します。

たとえば、次のような原因が考えられます。

• 別のオペレーションが進行中です。Cloud SQL オペレーションは同時には実行されません。他のオペレーションが完了するのをお待ちください。
• INSTANCE_RISKY_FLAG_CONFIG 警告は、少なくとも 1 つの beta フラグが使用されるたびにトリガーされます。危険なフラグ設定を削除して、インスタンスを再起動します。

サービスを再起動する以外の方法で ibtmp1 ファイルのサイズを小さくすることはできません。

緩和策の 1 つは、ROW_FORMAT=COMPRESSED を使用して一時テーブルを作成し、一時ファイル ディレクトリ内の file-per-table テーブルスペースに保存することです。ただし、各一時テーブルの file-per-table テーブルスペースの作成と削除によって、パフォーマンスが低下します。

インスタンスのストレージが不足していてストレージの自動増加機能が有効になっていない場合、インスタンスはオフラインになります。この問題を回避するには、インスタンスを編集して、ストレージの自動増加を有効にします。

接続が 60 秒未満の場合は、データベースのコマンド プロンプトからの接続を含め、ほとんどの不完全なシャットダウンを回避できます。これらの接続を数時間または数日間維持すると、不完全なシャットダウンが発生する場合があります。

ユーザーに依存しているオブジェクトを特定し、それらのオブジェクトをドロップするか、別のユーザーに再度割り当てます。

一般的なパフォーマンスのヒントをご覧ください。

データベースの挿入、更新、削除が遅い場合は、次のことを考慮します。

• 書き込みとデータベースの場所を確認します。データの送信距離が長いと、レイテンシが発生します。
• 読み取りとデータベースの場所を確認します。レイテンシは、書き込みパフォーマンスより読み取りパフォーマンスに大きく影響します。

レイテンシを低減するために、ソースリソースと宛先リソースの両方を同じリージョンに配置することをおすすめします。

ワークロード以外にも、アクティブな接続の数や内部オーバーヘッド プロセスなど、メモリ使用量に影響を与える可能性のある要因があります。こうしたことが常にモニタリング グラフに反映されるとは限りません。

インスタンスに、ワークロードと追加のオーバーヘッドを考慮するのに十分なオーバーヘッドがあることを確認してください。

データを保持するには、インスタンスを削除する前に Cloud Storage にデータをエクスポートします。

Cloud SQL 管理者のロールには、インスタンスを削除する権限が含まれています。誤って削除されないように、このロールは必要な場合にのみ付与してください。

新しいインスタンスを作成することにより、既存のインスタンス名を変更できます。

• 名前を変更するインスタンスのクローンを作成し、クローンを作成したインスタンスに新しい名前を設定できます。これにより、手動でデータをインポートしなくても、新しいインスタンスを作成できます。新しいインスタンスを作成する場合と同様に、クローンを作成したインスタンスにも新しい IP アドレスが割り当てられます。
• インスタンスから Cloud Storage バケットにデータをエクスポートし、必要な名前で新しいインスタンスを作成してから、データを新しいインスタンスにインポートできます。

いずれの場合も、オペレーションの完了後に古いインスタンスを削除できます。パフォーマンスには影響がなく、インスタンスの構成設定（フラグ、マシンタイプ、ストレージ サイズ、メモリなど）をやり直す必要がないことから、クローンルートを使用することをおすすめします。

1. エンドポイントのステータスを確認します。

   gcloud

   ステータスを確認するには、gcloud compute forwarding-rules describe コマンドを使用します。
   

   gcloud compute forwarding-rules describe ENDPOINT_NAME \
   --project=PROJECT_ID \
   --region=REGION_NAME \
   | grep pscConnectionStatus

   次の項目を置き換えます。

   • ENDPOINT_NAME: エンドポイントの名前
   • PROJECT_ID: エンドポイントを含む Google Cloud プロジェクトの ID またはプロジェクト番号
   • REGION_NAME: エンドポイントのリージョン名

   REST

   リクエストのデータを使用する前に、次のように置き換えます。

   • PROJECT_ID: Private Service Connect エンドポイントを含む Google Cloud プロジェクトの ID またはプロジェクト番号
   • REGION_NAME: リージョンの名前
   • ENDPOINT_NAME: エンドポイントの名前

   HTTP メソッドと URL:

   GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME

   リクエストを送信するには、次のいずれかのオプションを開きます。

   curl（Linux、macOS、Cloud Shell）

   次のコマンドを実行します。

   curl -X GET \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME"

   PowerShell（Windows）

   次のコマンドを実行します。

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method GET `
       -Headers $headers `
       -Uri "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME" | Select-Object -Expand Content

   次のような JSON レスポンスが返されます。

   {
     "kind": "compute#forwardingRule",
     "id": "ENDPOINT_ID",
     "creationTimestamp": "2024-05-09T12:03:21.383-07:00",
     "name": "ENDPOINT_NAME",
     "region": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME",
     "IPAddress": "IP_ADDRESS",
     "target": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/serviceAttachments/SERVICE_ATTACHMENT_NAME",
     "selfLink": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME",
     "network": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/networks/default",
     "serviceDirectoryRegistrations": [
       {
         "namespace": "goog-psc-default"
       }
     ],
     "networkTier": "PREMIUM",
     "labelFingerprint": "LABEL_FINGERPRINT_ID",
     "fingerprint": "FINGERPRINT_ID",
     "pscConnectionId": "CONNECTION_ID",
     "pscConnectionStatus": "ACCEPTED",
     "allowPscGlobalAccess": true
   }
   

2. エンドポイントのステータスが ACCEPTED であることを確認します。ステータスが PENDING の場合、インスタンスはエンドポイントを含む Google Cloud プロジェクトを許可していません。エンドポイントが作成されるネットワーク プロジェクトが許可されていることを確認します。詳細については、Private Service Connect が有効になっているインスタンスを編集するをご覧ください。

まず、max_connections フラグの値がプライマリの値以上であることを確認します。

max_connections フラグが適切に設定されている場合、Cloud Logging のログを調べて、実際のエラーを確認します。

エラーが set Service Networking service account as servicenetworking.serviceAgent role on consumer project の場合は、Service Networking API を無効にしてから再度有効にします。この措置で、プロセスを続行するために必要なサービス アカウントが作成されます。

レプリカ インスタンスを再起動して、一時メモリ領域を再利用します。

インスタンスを編集して automatic storage increase を有効にします。

• レプリカのクエリが遅い。遅いクエリを見つけて修正します。
• すべてのテーブルに一意キーまたは主キーが必要です。一意のキーまたは主キーのないテーブルを更新するたびに、レプリカでテーブル全体がスキャンされます。
• DELETE ... WHERE field < 50000000 などのクエリでは、レプリカに膨大な数の更新が蓄積されるため、行ベースのレプリケーションでレプリケーション ラグが発生します。

考えられる解決策は次のとおりです。

• インスタンスを編集してレプリカのサイズを増やします。
• データベースの負荷を軽減します。
• リードレプリカにリード トラフィックを送信します。
• テーブルをインデックスに登録します。
• 遅い書き込みクエリを特定して修正します。
• レプリカを再作成します。

ハッシュ インデックスを使用する必要がある場合は、PostgreSQL 10 以降にアップグレードしてください。レプリカも使用する場合は、PostgreSQL 9.6 でハッシュ インデックスを使用しないでください。

実行中のクエリをすべて停止してからレプリカを再作成します。

この問題を解決するには、次の操作を行います。

1. log_duration フラグをオンにして、log_statement パラメータを ddl に設定します。これにより、データベースのクエリと実行時間の両方を確認できます。ただし、ワークロードによっては、パフォーマンスの問題が発生する可能性があります。
2. プライマリ インスタンスとリードレプリカの両方で、クエリに対して explain analyze を実行します。
3. クエリプランを比較して違いを確認します。

特定のクエリの場合は、クエリを変更します。たとえば、結合の順序を変更して、パフォーマンスが向上するかどうかを確認できます。