PagerDuty＠インシデント管理ツール¶
はじめに¶
本サイトにつきまして、以下をご認識のほど宜しくお願いいたします。
01. PagerDutyの仕組み¶
PagerDuty をインシデント管理ツールとして使用する。
Amazon CloudWatch アラームに通知されたエラーイベントのうちから、特に重要なものを PagerDuty でインシデントとして対処する。
また、各ロールの担当者にオンコールを自動的にエスカレーションする。
(1)-
Amazon CloudWatch アラームから PagerDuty の Service に、インシデントを通知する。
(2)-
Runbook Automation が、インシデントの自動回復を試みる。
(3)-
Runbook Automation がインシデントを解決できなかったとする。
PagerDutyのServiceは、インシデントを責任者 (インシデントコマンダー) のメールや電話に通知する。
執筆時点 (2022/12/26) では、電話での通知は英語である。
(4)-
インシデントの通知を受けたオンコール担当者は、PagerDuty の Service を確認する。
(5)-
解決フェーズが Open になっているインシデントを確認し、問題を解決する。
(6)-
問題を解決できれば、Resolved 状態に移行する。
02. インシデント¶
インシデントの解決フェーズ¶
▼ PagerDutyの解決フェーズ¶
インシデントには解決フェーズがあり、PagerDuty ではそれ管理できる。
▼ 解決フェーズの種類¶
PagerDuty では、以下の解決フェーズを設定できる。
| 解決フェーズ | 説明 |
|---|---|
| Triggered | アラートがインシデントとして見なされ、タスクが作成された。再現性の低い瞬間的なインシデントであれば、Acknowledgedフェーズを経ずに、そのままResolvedにしてもよい。 |
| Acknowledged | インシデントのタスクに対応中であるが、まだ解決できていない。一定期間、Resolvedフェーズに移行しない場合は、再びTriggeredフェーズに戻る。 |
| Resolved | インシデントのタスクを解決した。 |
▼ Resolvedへの自動的な移行¶
解決フェーズが一定時間 Triggered フェーズのままで Resolved に移行しない場合、自動的に Resolved に移行するように設定できる。
注意点として、自動移行で Resolved になったインシデントは、同じインシデントが発生しない限り、Triggered フェーズに戻ることはない。
インシデントの通知抑制¶
- 特定のシステムを無視
- インシデントの一時無効化
- エラーイベントの重要度レベルの調節
- インシデントのグループ化
担当ロール¶
▼ 担当ロールとは¶
インシデントの対応にあたり、チームのメンバーにロール (例：Commander) を割り当てておくとよい。
インシデントコマンドシステムを採用し、ロールを決める。