インシデント

このガイドでは、Customer Support Operations がインシデント (10 分以内に解決できず、構造化された対応手順を要する問題) をどのように扱うかを説明します。

このドキュメントは、私たちのインシデント対応フレームワークを取り上げます。これには、インシデントの重大度の判定方法、エスカレーションのタイミングと方法、目標解決時間、ポストインシデントレビューの要件などが含まれます。プロセスは重大度に応じて 6〜8 ステージから構成されており、検出から解決までインシデントが一貫して管理されることを確保します。

インシデントについて

インシデントとは

Customer Support Operations チームの目的において、インシデントとは、迅速 (10 分以内) に解決できないイベント、問題、エラーのことです。これはバグ、システム変更、ユーザーレポートなどに起因する場合があります。

エスカレーションレベル

状況によっては、インシデントを十分迅速に解決できず、エスカレーションが必要になります。現在のエスカレーションレベルは以下のとおりです。

注: インシデント対応を始めるときは技術的に「レベル 0」から始まります (そして必要に応じて上げていきます)。

より高いレベルにエスカレーションしようとして対象が応答できない場合は、次に高いレベルに移行してください。

重大度

インシデントの重大度は、最高の クリティカリティレベル と最高のインパクトレベルに依存します。これらを使い、以下の表から重大度レベルを判定できます。

解決時間

インシデントを解決するために設定する時間は、その重大度に依存します。この時間は各エスカレーションの間隔も決定します。

インシデントの取り扱い

インシデントの取り扱いは 6〜8 ステージに分けられます。各重大度レベルでこれがどのような流れになるかを簡略化したフローを以下に示します。

graph TD;
  A--> B
  B--> C
  C--> D
  D-->|Yes| F
  D-->|No| E
  E--> C
  F--> G
  G--> H
  H--> I
  I--> J
  A(Create an incident issue)
  B(Create an incident on incident.io)
  C(Troubleshoot and work the issue for up to 10 minutes)
  D{Was it able to be resolved?}
  E(Escalate to the next level)
  F(Resolve the incident on incident.io)
  G(Notate the issue and close it as resolved)
  H(Create an after incident review)
  I(Share with relevant parties)
  J(Process completed)

graph TD;
  A--> B
  B--> C
  C--> D
  D-->|Yes| F
  D-->|No| E
  E--> C
  F--> G
  G--> H
  H--> I
  I--> J
  A(Create an incident issue)
  B(Create an incident on incident.io)
  C(Troubleshoot and work the issue for up to 30 minutes)
  D{Was it able to be resolved?}
  E(Escalate to the next level)
  F(Resolve the incident on incident.io)
  G(Notate the issue and close it as resolved)
  H(Create an after incident review)
  I(Share with relevant parties)
  J(Process completed)

graph TD;
  A--> B
  B--> C
  C--> D
  D-->|Yes| F
  D-->|No| E
  E--> C
  F--> G
  G--> H
  H--> |Yes| I
  H-->|No| K
  I--> J
  J--> K
  A(Create an incident issue)
  B(Create an incident on incident.io)
  C(Troubleshoot and work the issue for up to 8 hours)
  D{Was it able to be resolved?}
  E(Escalate to the next level)
  F(Resolve the incident on incident.io)
  G(Notate the issue and close it as resolved)
  H{Does this require an after incident review?}
  I(Create an after incident review)
  J(Share with relevant parties)
  K(Process completed)

graph TD;
  A--> B
  B--> C
  C--> D
  D-->|Yes| F
  D-->|No| E
  E--> C
  F--> G
  G--> H
  H--> |Yes| I
  H-->|No| K
  I--> J
  J--> K
  A(Create an incident issue)
  B(Create an incident on incident.io)
  C(Troubleshoot and work the issue for up to 24 hours)
  D{Was it able to be resolved?}
  E(Escalate to the next level)
  F(Resolve the incident on incident.io)
  G(Notate the issue and close it as resolved)
  H{Does this require an after incident review?}
  I(Create an after incident review)
  J(Share with relevant parties)
  K(Process completed)

Stage 1 - 重大度を判定する

インシデントが発生して対応を始めたら、最初に行うべきことは最高の重大度レベルを判定することです。これは、影響を受けるすべてのシステム・アイテムを確認し、それぞれの クリティカリティレベル とインパクトレベルを確認し、最高の 重大度値 を使うことで行います。スコープや低レベルのアイテム数に関係なく、常に最も高い重大度レベルが採用されます。

念のため、レベルの階層は以下のとおりです。

Severity 1 > Severity 2 > Severity 3 > Severity 4

最高の重大度レベルが分かったら、Stage 2 に進んでください。

Stage 2 - Issue を作成する

すべてのインシデントについて、Incident Issue テンプレート を使って Issue を作成すべきです。最初に入力する情報は「完璧」である必要はありません。多くの場合、簡略化したタイトル (“Zendesk Triggers broken” など) と発生中のエラー/問題そのもので十分です。

Issue を作成したら、Stage 3 に進んでください。

Stage 3 - incident.io にインシデントを作成する

Issue を作成した後、(私たちのステータスページに表示されるように) incident.io 経由でインシデントを公開する必要があります。手順:

1. Status pages に移動します
2. インシデントを作成したいステータスページをクリックします
3. 右上の Publish incident をクリックします
4. 意味のある Name を入力します
5. インシデントの Status を設定します
   • Investigating: インシデントを報告
     • 通常はこれを開始点として使います
   • Identified: 問題が特定され、修正が行われている
   • Monitoring: 修正が実装され、状況を監視している
   • Resolved: すべて解決
6. インシデントの意味のある Message を設定します
   • ここにはインシデント Issue へのリンクを含めるべきです
7. Affected components への影響レベルを設定します (必要な値はインシデントの影響度によります)
   • No impact: インシデントはこのコンポーネントに影響しない
   • Degraded performance: コンポーネントは動作しているが標準的なパフォーマンス水準より低い
   • Partial outage: コンポーネントの大部分が動作していない
   • Full outage: コンポーネントが完全停止
8. Review incident をクリックします
9. すべての情報の正確性を確認します
10. Publish incident をクリックします

作成したら、Stage 4 に進んでください。

Stage 4 - インシデントのトラブルシューティング

これでインシデント解決のために作業を進めます。Issue にも作業の進行に応じて十分なコメントを残すようにしてください。

進めている間、incident.io 上のインシデントにも定期的にアップデートを提供してください。一般的には、(まだ調査中であることを示すだけでも) 1 時間に 1 回は更新するようにしてください。

状況によっては、インシデントを十分迅速に解決できず、エスカレーションが必要になることがあります。エスカレーションレベル間の時間は、インシデントの重大度レベルに依存します (解決時間 を参照)。

そのため、現在の状態によって次のステージが決まります。

• 妥当な時間内で解決へ向かっているなら、解決するまでインシデント対応を続けてください。インシデントの原因を解決したら、Stage 6 に進みます
• 次のレベルへエスカレーションが必要な場合、Stage 5 に進みます

Stage 5 - インシデントをエスカレーションする

このステージでは、インシデントをエスカレーションします。誰にエスカレーションするかを判定するには、エスカレーションレベル を参照してください。

Issue にエスカレーションする旨 (およびエスカレーション先のレベル) を示すコメントを必ず追加してください。

次のレベルにエスカレーションし (対象が承認したら)、インシデントの DRI はエスカレーション先の対象に変わります。

エスカレーション先は Stage 4 に戻ります。

Stage 6 - incident.io でインシデントを解決する

インシデント自体が解決したら、incident.io でも解決させる必要があります。手順:

1. (Okta 経由で) Incident.io にログインします
2. Status pages に移動します
3. インシデントが掲載されているステータスページをクリックします
4. 対象のインシデントをクリックします
5. 右上のステータスバー (現在のステータスを表示) をクリックします
6. 新しい Status を選択します (Resolved であるべきです)
7. 意味のあるメッセージを入力します
8. Review update をクリックします
9. すべての情報の正確性を確認します
10. Publish update をクリックします

完了したら、Stage 7 に進んでください。

Stage 7 - Issue を解決する

ここでは、先ほど作成した Issue を解決する必要があります。インシデントの根本原因を修正するために行ったことを詳述するコメントを必ず追加してください。

コメントを追加したら、Issue をクローズします。

以下の条件のいずれかに該当する場合、Stage 8 に進んでください。

• 最高の重大度レベルが Severity 1 だった
• 最高の重大度レベルが Severity 2 だった
• レベル 3 以上へのエスカレーションが必要だった

Stage 8 - ポストインシデントレビュー

ここでは、Customer Support Operations After Incident Reviews Google ドキュメント (社内のみ) を使用します。

Template タブを複製し、すべて記入してください。何が必要かの例として、過去のドキュメントを参考にできます。

すべて記入したら、#support_operations チャンネル に Slack 投稿を行い、Customer Support Operations のリーダーシップを CC (@ メンション) するようにしてください。

ページのソースコードを見る - ページの編集 - please contribute.