このユニットの結論
本番で障害が起きたとき、「業務を元に戻すこと(復旧)」と「なぜ起きたかを突き止めること(原因調査)」は、目的も急ぎ具合も違う別の仕事です。
復旧を急ぎながらも、原因調査に必要な記録を消さないこと。原因が分かる前に、分かったことにしないこと。この2つを両立させます。
1. 何の話か
13-01 本番障害が起きたら最初に何をするか では、障害の初動と、復旧と原因究明を分けることを学びました。
このユニットでは、その「分ける」を、実際の対応でどう進めるかを考えます。
2. なぜ必要か
復旧と原因調査を混ぜると、
- 原因が分かるまで復旧を待ち、業務の停止が長引く
- 急いで再起動や修正をして、原因を調べるための記録が消える
- 最初に思いついた原因を「真の原因」と決めつけ、同じ障害がまた起きる
ということが起きます。
3. このユニットで分かること
- 復旧と原因調査、それぞれの目的と進め方
- 復旧の前に残しておく記録
- 障害対応で、AIに任せてよいことと人間が判断すること
4. 目的と進め方の違い
| 復旧 | 原因調査 | |
|---|---|---|
| 目的 | 業務をできるだけ早く、安全に元に戻す | なぜ起きたかを、証拠をもとに明らかにする |
| 急ぎ具合 | 最優先。時間との勝負 | 復旧のあとでよいことが多い |
| 手段の例 | 切り替え、一時的な回避策、再起動 | ログ・記録の分析、再現、関係者への確認 |
| 結果 | 業務が戻ったこと | 原因と、再発を防ぐための対策 |
一時的な回避策で復旧したときは、「根本的に直った」とは扱わず、原因調査と恒久的な対策を別に進めます。
5. 復旧の前に残しておくもの
一般的には、復旧の作業をする前に、できる範囲で次を残します。
- いつ、何が、どの範囲で起きたか(時刻と症状)
- ログや画面の記録
- 復旧のために行った作業と、その時刻
- 誰が、何を判断したか
記録は、復旧を遅らせない範囲で残します。どこまで残してから復旧するかは、障害の重さを見て判断します。
CASE FACTFROZEN正本に記載されたアステリア案件の事実
アステリア案件に関係する記載
- M18 本番稼働、M21 初期安定化完了
- システムに SYS-11 監視・ログ基盤がある(IF-11:新基幹 → 監視・ログ、IF-12:連携基盤 → 監視・ログ)
- P-011 山下 恵 — 本番移行・運用リーダー
- AIへ最終委任しないことに「重大障害判断」がある
アステリア案件の障害対応の体制・手順・障害の記録は、正本に記載がありません。未確定
6. THINK — 再起動したら直った
障害の連絡を受けた担当者が、すぐにサーバーを再起動したところ、業務が再開できました。
問題
これで障害対応は終わりでしょうか。
判断例を開く
判断
終わりではありません。
確認すること:
- 再起動の前に、ログや状態の記録を残したか
- 再起動で直ったのは、原因が解消したからか、たまたま状態が戻っただけか
- 同じことが、また起きる可能性はないか
- 原因調査を、誰が、いつまでに行うか
復旧は済んでも、原因調査はこれからです。
7. よくある失敗
- 原因が分かるまで、復旧の判断を先送りにする
- 記録を残さずに再起動や修正をする
- 最初の仮説を、確かめないまま原因と決める
- 一時的な回避策を、恒久的な対策と混同する
- 振り返りを行わず、同じ障害を繰り返す
8. 成果物との接続
- OPS-005 障害報告書:障害の事実と対応を記録する
- OPS-006 障害振り返り報告書:原因と再発防止を振り返る
- OPS-004 障害対応計画:障害時の体制と手順を事前に決める
危機演習 CR12 本番初日に複合障害 では、稼働初日に複数の症状が同時に出た場面を体験します(学習上の接続です。正式な対応関係ではありません)。
9. AI WORKFLOW — ログと記録の整理を手伝わせる
AIは、大量のログや障害対応の記録を整理するのに役立ちます。
指示例:
「次のログと対応の記録を、時刻の順に並べ、症状・行った作業・判断を分けて整理してください。原因は断定せず、確かめるべき仮説として、それぞれに必要な証拠を添えて示してください。」
10. REVIEW — AIの整理を確認する
- 時刻の並びが、元の記録と合っているか
- AIの仮説を、事実として扱っていないか
- 仮説を確かめる証拠を、人が実際に確かめたか
11. 人間が判断すること
- 障害の重さと、復旧の進め方(どこまで記録を残してから復旧するか)
- 一時的な回避策で業務を再開するか
- 原因を確定したと判断するか
- 再発防止の対策を採用するか
重大障害判断は、AIへ最終委任しない事項です(正本の方針)。
12. 判断演習
障害が起き、一時的な回避策で業務は再開しました。原因はまだ分かっていません。
あなたなら、このあと何を決めますか。
- 原因調査の担当と期限
- 回避策を続ける間の注意点
- 利用者と関係者への説明
- 振り返りの時期
あなたの記録あなたの考え。事実ではありません
判断ノート
このユニットで覚えてほしいこと
復旧は業務を戻す仕事、原因調査はなぜ起きたかを確かめる仕事です。
復旧を急ぎながら記録を残し、原因は証拠で確かめてから決めます。