Google Cloud Well-Architected Framework のオペレーショナル エクセレンスの柱におけるこの原則では、クラウド ワークロードに関連するインシデントと問題を管理するうえで役に立つ推奨事項が示されています。これには、包括的なモニタリングとオブザーバビリティの実装、明確なインシデント対応手順の確立、徹底した根本原因分析の実施、予防措置の実装が含まれます。この原則で説明するトピックの多くは、信頼性の柱で詳しく説明しています。
原則の概要
インシデント管理と問題管理は、機能的な運用環境の重要なコンポーネントです。重大度の異なるインシデントへの対応方法、分類方法、解決方法は、運用に大きな影響を与える可能性があります。また、信頼性とパフォーマンスを最適化するために、積極的に継続的に調整を行う必要があります。インシデント管理と問題管理の効率的なプロセスは、次の基本要素に基づいています。
- 継続的なモニタリング: 問題を迅速に特定して解決します。
- 自動化: タスクを合理化し、効率を向上させます。
- オーケストレーション: クラウド リソースを効果的に調整して管理します。
- データドリブンな分析情報: クラウド オペレーションを最適化し、情報に基づいた意思決定を行います。
これらの要素は、幅広い課題や中断に対応できる復元性に優れたクラウド環境の構築に役立ちます。これらの要素は、コストのかかるインシデントやダウンタイムのリスクを軽減し、ビジネスの俊敏性と成功を高めるうえでも役立ちます。これらの基本要素は、運用準備の 4 つの重点分野（人材、プロセス、ツール、ガバナンス）に分散しています。
推奨事項
インシデントと問題を効果的に管理するには、次のセクションの推奨事項を検討してください。このドキュメントの各推奨事項は、運用準備の重点分野の 1 つ以上に関連しています。
明確なインシデント対応手順を確立する
インシデントに効果的かつ協調して対応するには、明確な役割と責任が不可欠です。また、明確なコミュニケーション プロトコルとエスカレーション パスは、インシデント発生時に情報が迅速かつ効果的に共有されるようにするうえで役立ちます。この推奨事項は、ワークフォース、プロセス、ツールという運用準備の重点分野に関連しています。
インシデント対応手順を確立するには、インシデント コマンダー、調査担当者、コミュニケーション担当者、技術専門家など、各チームメンバーの役割と期待値を定義する必要があります。コミュニケーションとエスカレーションのパスを確立するには、重要な連絡先を特定し、コミュニケーション チャネルを設定し、必要に応じてインシデントを上位の管理レベルにエスカレーションするプロセスを定義します。定期的なトレーニングと準備は、チームがインシデントに効果的に対応するための知識とスキルを身につけるのに役立ちます。
ランブックまたはハンドブックにインシデント対応手順を文書化することで、インシデント発生時にチームが従う標準化されたリファレンス ガイドを提供できます。ランブックでは、インシデント対応プロセスの各段階（コミュニケーション、トリアージ、調査、解決など）で実施する手順を概説する必要があります。また、関連するツールやリソースに関する情報、重要な担当者の連絡先情報も記載する必要があります。ランブックが最新かつ有効な状態を維持できるように、定期的に見直して更新する必要があります。
インシデント管理を一元化する
インシデントのライフサイクル全体で効果的に追跡して管理するには、一元化されたインシデント管理システムの使用を検討してください。この推奨事項は、プロセスとツールという運用準備の重点分野に関連しています。
一元化されたインシデント管理システムには、次のような利点があります。
- 可視性の向上: インシデント関連のすべてのデータを 1 か所に統合することで、チームがコンテキストをさまざまなチャネルやシステムで検索する必要がなくなります。このアプローチにより、時間を節約し、混乱を減らすことができます。また、関係者はステータス、影響、進捗状況など、インシデントの包括的なビューを確認できます。
- 調整とコラボレーションの改善: 一元化されたシステムにより、コミュニケーションとタスク管理のための統合プラットフォームが提供されます。インシデント対応に関与するさまざまな部門や機能間のシームレスな連携を促進します。このアプローチにより、全員が最新の情報にアクセスできるようになり、誤解や認識のずれのリスクが軽減されます。
- アカウンタビリティと所有権の強化: インシデント管理システムを一元化することで、組織は特定の個人またはチームにタスクを割り当て、責任を明確に定義して追跡できます。このアプローチでは、チームメンバーが自分の進捗状況と貢献度を簡単にモニタリングできるため、説明責任が促進され、問題解決が積極的に行われるようになります。
一元化されたインシデント管理システムは、インシデントの追跡、タスクの割り当て、コミュニケーションの管理のための堅牢な機能を提供する必要があります。これらの機能を使用すると、ワークフローのカスタマイズ、優先度の設定、モニタリング ツールやチケット発行システムなどの他のシステムとの統合を行うことができます。
一元化されたインシデント管理システムを実装することで、組織のインシデント対応プロセスを最適化し、コラボレーションを改善し、可視性を高めることができます。これにより、インシデントの解決時間が短縮され、ダウンタイムが短縮され、顧客満足度が向上します。また、過去のインシデントから学び、改善すべき領域を特定できるため、継続的な改善の文化を育むこともできます。
インシデント後の徹底的なレビューを実施する
インシデントが発生したら、根本原因、要因、教訓を特定するために、事後分析とも呼ばれる詳細なインシデント後のレビュー（PIR）を実施する必要があります。この徹底的なレビューは、今後同様のインシデントを防ぐのに役立ちます。この推奨事項は、運用準備の重点分野（プロセスとガバナンス）に関連しています。
PIR プロセスには、インシデントのさまざまな側面に関する専門知識を持つ学際的なチームが関与する必要があります。チームは、インタビュー、ドキュメントの確認、サイトの検査を通じて、関連するすべての情報を収集する必要があります。インシデントにつながった一連の行動を特定するために、イベントのタイムラインを作成する必要があります。
チームは必要な情報を収集した後、根本原因分析を実施して、インシデントにつながった要因を特定する必要があります。この分析では、インシデントの直接的な原因と、インシデントの原因となったシステム上の問題を特定する必要があります。
PIR チームは、根本原因を特定するとともに、インシデントの原因となった可能性のあるその他の要因も特定する必要があります。これらの要因には、人的ミス、機器の故障、組織的な要因（コミュニケーションの不具合やトレーニングの不足など）が含まれます。
PIR レポートには、イベントのタイムライン、根本原因分析、推奨されるアクションなど、調査結果を記録する必要があります。このレポートは、是正措置を実施し、再発を防止するための貴重なリソースとなります。レポートは、関連するすべての関係者と共有し、安全に関するトレーニングと手順の開発に使用する必要があります。
PIR プロセスを成功させるには、組織は責任の所在を特定するのではなく、学習と改善に重点を置いた非難のない文化を育む必要があります。このような文化により、個人は報復を恐れることなくインシデントを報告できるようになり、システム上の問題に対処して有意義な改善を行うことができます。
徹底的な PIR を実施し、調査結果に基づいて是正措置を実施することで、今後同様のインシデントが発生するリスクを大幅に軽減できます。インシデントの調査と防止に積極的に取り組むことで、関係者全員にとってより安全で効率的な作業環境を構築できます。
ナレッジベースを維持する
既知の問題、解決策、トラブルシューティング ガイドのナレッジベースは、インシデントの管理と解決に不可欠です。チームメンバーはナレッジベースを使用して、一般的な問題をすばやく特定して解決できます。ナレッジベースを実装すると、エスカレーションの必要性が減り、全体的な効率が向上します。この推奨事項は、ワークフォースとプロセスという運用準備の重点分野に関連しています。
ナレッジベースの主なメリットは、チームが過去の経験から学び、同じ間違いを繰り返さないようにできることです。既知の問題の解決策をキャプチャして共有することで、チームは一般的な問題の解決方法とインシデント管理のベスト プラクティスについて共通の理解を深めることができます。ナレッジベースを使用すると、時間と労力を節約でき、プロセスを標準化してインシデント解決の一貫性を確保できます。
ナレッジベースは、インシデントの解決時間を短縮するだけでなく、チーム間の知識の共有とコラボレーションを促進します。情報の一元的なリポジトリにより、チームはナレッジベースに簡単にアクセスして貢献できるため、継続的な学習と改善の文化が促進されます。この文化により、チームは専門知識と経験を共有し、より包括的で価値のあるナレッジベースを構築できます。
ナレッジベースを効果的に作成して管理するには、適切なツールとテクノロジーを使用します。Google Workspace などのコラボレーション プラットフォームは、ドキュメントの作成、編集、共有を共同で行うことができるため、この目的に適しています。これらのツールは、バージョン管理と変更の追跡もサポートしているため、ナレッジベースを最新かつ正確な状態に保つことができます。
関連するすべてのチームがナレッジベースに簡単にアクセスできるようにします。ナレッジベースを既存のインシデント管理システムと統合するか、専用のポータルまたはイントラネット サイトを提供することで、これを実現できます。すぐに利用できるナレッジベースがあれば、チームはインシデントを効率的に解決するために必要な情報にすばやくアクセスできます。この可用性により、ダウンタイムを短縮し、ビジネス オペレーションへの影響を最小限に抑えることができます。
ナレッジベースを定期的に見直し、更新して、関連性と有用性を維持します。インシデント レポートをモニタリングし、一般的な問題と傾向を特定して、新しい解決策とトラブルシューティング ガイドをナレッジベースに組み込みます。最新のナレッジベースは、チームがインシデントをより迅速かつ効果的に解決するのに役立ちます。
インシデント対応を自動化する
自動化により、インシデント対応と修復のプロセスを効率化できます。これにより、セキュリティ侵害やシステム障害に迅速かつ効率的に対応できます。Cloud Run functions や Cloud Run などの Google Cloud プロダクトを使用すると、通常は手動で時間がかかるさまざまなタスクを自動化できます。この推奨事項は、運用の準備の重点分野（プロセスとツール）に関連しています。
インシデント対応の自動化には、次の利点があります。
- インシデントの検出と解決時間の短縮: 自動化ツールは、システムとアプリケーションを継続的にモニタリングし、不審なアクティビティや異常なアクティビティをリアルタイムで検出し、関係者に通知したり、介入なしで対応したりできます。この自動化により、潜在的な脅威や問題が重大なインシデントに発展する前に特定できます。インシデントが検出されると、自動化ツールによって、影響を受けるシステムの隔離、悪意のあるファイルの隔離、変更のロールバックによるシステムの既知の良好な状態への復元など、事前に定義された修復アクションがトリガーされます。
- セキュリティ チームと運用チームの負担を軽減: インシデント対応の自動化により、セキュリティ チームと運用チームはより戦略的なタスクに集中できます。診断情報の収集やアラートのトリガーなど、ルーチンで反復的なタスクを自動化することで、組織はより複雑で重要なインシデントに対処するために人員を解放できます。この自動化により、インシデント対応の全体的な有効性と効率が向上します。
- 修復プロセスの整合性と精度が向上する: 自動化されたツールにより、修復アクションが影響を受けるすべてのシステムに均一に適用され、人的エラーや不整合のリスクを最小限に抑えることができます。この修復プロセスの標準化により、インシデントがユーザーやビジネスに与える影響を最小限に抑えることができます。