このユニットの結論
復旧の計画は、訓練で動かしたことがなければ、計画ではなく希望です。
何が壊れた想定で、誰が、どの手順で、何分で、どこまでのデータを戻せるかを決め、実際にやってみて、目標との差を測り、計画と手順を直す。この繰り返しが復旧訓練の設計です。訓練で見つかる問題は、本番で見つかる問題より安くつきます。
1. 何の話か
このユニットは、復旧の訓練をどう設計し、何を測るかの話です。
06-03 システムは何時間止められるのか と 06-04 どこまでデータを失ってよいのか で、止まってよい時間(復旧時間の目標)と失ってよいデータ(復旧時点の目標)を学びました。目標は決めただけでは達成されません。訓練で「本当にその時間で、その時点まで戻せるか」を確かめます。
2. なぜ必要か
訓練をしないと、
- 復旧の手順書が古く、いざというときに手順どおりに動かない
- 手順を実行できる人が 1 人しかおらず、その人が不在で復旧できない
- バックアップは取っていたが、戻す手順を一度も試しておらず、戻せないことに本番で気づく
ということが起きます。復旧は、普段使わない手順の中で最も重要なものです。使わないからこそ、訓練で使います。
3. このユニットで分かること
- 訓練の想定(何が壊れたか)の決め方
- 訓練で測るもの
- 訓練の結果を計画に戻す方法
4. 想定を決める
訓練は「何が壊れた想定か」で中身が変わります。一般的には、軽いものから重いものへ段階を上げます。
| 想定(一般的な例) | 壊れるもの | 訓練で確かめること |
|---|---|---|
| 1 つの部品の故障 | 計算機 1 台、データベースの 1 系 | 自動で切り替わるか。切り替わりに何分かかるか |
| データの誤削除・破損 | 業務データの一部 | バックアップから特定の時点に戻せるか。戻す範囲を限定できるか |
| 区画全体の停止 | クラウドの 1 区画、データセンター | 別の区画で立ち上げ直せるか。立ち上げる順番は正しいか |
| 広域の災害 | 本番の全体と、運用する人の一部 | 待機の環境で業務を再開できるか。人が足りない状態で手順を回せるか |
想定ごとに、復旧時間の目標と復旧時点の目標を置きます。想定が重いほど、目標は緩くなるのが普通です。
5. 測るものと、計画への戻し方
訓練で測るのは次の 4 つです。
- 検知までの時間:壊れてから、気づくまで
- 判断までの時間:気づいてから、復旧を始めると決めるまで(誰が決めるか)
- 復旧までの時間:始めてから、業務が再開できるまで
- 戻せた時点:どの時点のデータまで戻せたか。失ったデータの幅
4 つを目標と並べ、差の原因(手順の抜け、人の不在、道具の不備、判断の遅れ)を書きます。差の原因ごとに、計画(OPS-008 災害復旧計画・訓練結果)と手順を直し、次の訓練で直ったかを確かめます。訓練の結果は、目標を達成できたかどうかに関わらず記録します。達成できなかった訓練こそ、価値があります。
本番切替の「元に戻す」(CUT-003 切り戻し計画書)も、復旧訓練と同じ考え方で練習します。
CASE FACTFROZEN正本に記載されたアステリア案件の事実
アステリア案件の復旧に関する記載
- システムに SYS-11 監視・ログ基盤 がある。Vendor B クラウドブリッジの担当範囲に クラウド基盤、ネットワーク、監視 が含まれる
- 成果物に OPS-008 災害復旧計画・訓練結果、CUT-003 切り戻し計画書 がある
- P-011 山下 恵 — 本番移行・運用リーダー
- 重大障害判断は、AIへ最終委任しない事項
アステリア案件の復旧時間・復旧時点の目標、訓練の想定、訓練の結果は、正本に記録がありません。記録なし
6. THINK — 「バックアップは毎日取っているので大丈夫」
運用の設計のレビューで、基盤の担当者が次のように言いました。
「データのバックアップは毎晩自動で取っています。復旧は問題ありません。」
問題
この説明で、復旧の備えは十分と言えるでしょうか。
判断例を開く
判断
バックアップを「取っている」ことと、「戻せる」ことは別です。
確認すること:
- バックアップから戻す手順を、最後に実際に試したのはいつか
- 戻すのに何時間かかるか。それは復旧時間の目標の中に収まるか
- 毎晩のバックアップなら、失うデータは最大で 1 日分。それは復旧時点の目標と合っているか
- バックアップは本番と同じ場所に置かれていないか(同じ区画が壊れたら一緒に失う)
- 戻す手順を実行できる人は何人いるか
「取っている」は出発点です。訓練で「戻せた時点」と「復旧までの時間」を測って初めて、「問題ありません」と言えます。
7. よくある失敗
- 訓練を「手順書を読み合わせる」だけで済ませ、実際に動かさない
- 軽い想定だけを訓練し、区画全体の停止を一度も試さない
- 訓練で目標を達成できなかった結果を記録せず、計画が直らない
- 訓練の日程を業務の都合で先送りし続け、稼働後 1 年たっても一度も行われない
8. 成果物との接続
- OPS-008 災害復旧計画・訓練結果:想定ごとの目標、手順、訓練の結果(4 つの測定値と差の原因)、直したこと
- CUT-003 切り戻し計画書:本番切替で元に戻す計画。復旧訓練と同じように、リハーサルで実際に戻す
9. AI WORKFLOW — 訓練の結果と目標の差を整理させる
AIは、訓練の記録(時刻、作業、判断)から 4 つの測定値を取り出し、目標との差を表にする下書きに役立ちます。
指示例:
「次の復旧訓練の記録から、検知までの時間、判断までの時間、復旧までの時間、戻せた時点を読み取り、添付の目標と並べて差を表にしてください。記録に時刻がなく読み取れない項目は『記録なし』と示し、推定しないでください。差の原因の推測や対策の提案はしないでください。」
10. REVIEW — AIの整理を確認する
- AIが読み取った時刻が、記録と一致しているか
- 「記録なし」の項目について、次の訓練で時刻を記録する手順を人が足したか
- 訓練の記録を AI に渡してよいか(構成・連絡先の扱い)を事前に確かめたか
11. 人間が判断すること
- 訓練の想定と頻度
- 目標を達成できなかったとき、目標を変えるか、備えを増やすか
- 訓練で業務を一時止めることを認めるか
重大障害判断は、AIへ最終委任しない事項です(正本の方針)。
12. 判断演習
あなたの職場で、ある重要な道具(業務システム、共有の書庫、連絡の手段のどれか)が丸一日使えなくなった、と想像してください。
「検知までの時間」「判断までの時間」「復旧までの時間」「戻せた時点」を、いまの備えならそれぞれどうなりそうかを書き、最も弱いのはどれか、それを確かめるならどんな訓練をするかを書いてください。
あなたの記録あなたの考え。事実ではありません
判断ノート
このユニットで覚えてほしいこと
復旧は訓練で初めて計画になる。想定を決め、検知・判断・復旧の時間と戻せた時点を測り、目標との差の原因で計画と手順を直す。達成できなかった訓練こそ価値がある。