Unit 06-07(STAGE 06 の 7 / 7)

復旧訓練をどう設計するか

学習状況:未着手

このユニットの結論

復旧の計画は、訓練で動かしたことがなければ、計画ではなく希望です。

何が壊れた想定で、誰が、どの手順で、何分で、どこまでのデータを戻せるかを決め、実際にやってみて、目標との差を測り、計画と手順を直す。この繰り返しが復旧訓練の設計です。訓練で見つかる問題は、本番で見つかる問題より安くつきます。

1. 何の話か

このユニットは、復旧の訓練をどう設計し、何を測るかの話です。

06-03 システムは何時間止められるのか と 06-04 どこまでデータを失ってよいのか で、止まってよい時間(復旧時間の目標)と失ってよいデータ(復旧時点の目標)を学びました。目標は決めただけでは達成されません。訓練で「本当にその時間で、その時点まで戻せるか」を確かめます。

2. なぜ必要か

訓練をしないと、

ということが起きます。復旧は、普段使わない手順の中で最も重要なものです。使わないからこそ、訓練で使います。

3. このユニットで分かること

4. 想定を決める

訓練は「何が壊れた想定か」で中身が変わります。一般的には、軽いものから重いものへ段階を上げます。

想定(一般的な例) 壊れるもの 訓練で確かめること
1 つの部品の故障 計算機 1 台、データベースの 1 系 自動で切り替わるか。切り替わりに何分かかるか
データの誤削除・破損 業務データの一部 バックアップから特定の時点に戻せるか。戻す範囲を限定できるか
区画全体の停止 クラウドの 1 区画、データセンター 別の区画で立ち上げ直せるか。立ち上げる順番は正しいか
広域の災害 本番の全体と、運用する人の一部 待機の環境で業務を再開できるか。人が足りない状態で手順を回せるか

想定ごとに、復旧時間の目標と復旧時点の目標を置きます。想定が重いほど、目標は緩くなるのが普通です。

5. 測るものと、計画への戻し方

訓練で測るのは次の 4 つです。

4 つを目標と並べ、差の原因(手順の抜け、人の不在、道具の不備、判断の遅れ)を書きます。差の原因ごとに、計画(OPS-008 災害復旧計画・訓練結果)と手順を直し、次の訓練で直ったかを確かめます。訓練の結果は、目標を達成できたかどうかに関わらず記録します。達成できなかった訓練こそ、価値があります。

本番切替の「元に戻す」(CUT-003 切り戻し計画書)も、復旧訓練と同じ考え方で練習します。

CASE FACTFROZEN正本に記載されたアステリア案件の事実

アステリア案件の復旧に関する記載

  • システムに SYS-11 監視・ログ基盤 がある。Vendor B クラウドブリッジの担当範囲に クラウド基盤、ネットワーク、監視 が含まれる
  • 成果物に OPS-008 災害復旧計画・訓練結果、CUT-003 切り戻し計画書 がある
  • P-011 山下 恵 — 本番移行・運用リーダー
  • 重大障害判断は、AIへ最終委任しない事項

アステリア案件の復旧時間・復旧時点の目標、訓練の想定、訓練の結果は、正本に記録がありません。記録なし

6. THINK — 「バックアップは毎日取っているので大丈夫」

運用の設計のレビューで、基盤の担当者が次のように言いました。

「データのバックアップは毎晩自動で取っています。復旧は問題ありません。」

問題

この説明で、復旧の備えは十分と言えるでしょうか。

判断例を開く

判断

バックアップを「取っている」ことと、「戻せる」ことは別です。

確認すること:

  • バックアップから戻す手順を、最後に実際に試したのはいつか
  • 戻すのに何時間かかるか。それは復旧時間の目標の中に収まるか
  • 毎晩のバックアップなら、失うデータは最大で 1 日分。それは復旧時点の目標と合っているか
  • バックアップは本番と同じ場所に置かれていないか(同じ区画が壊れたら一緒に失う)
  • 戻す手順を実行できる人は何人いるか

「取っている」は出発点です。訓練で「戻せた時点」と「復旧までの時間」を測って初めて、「問題ありません」と言えます。

7. よくある失敗

8. 成果物との接続

9. AI WORKFLOW — 訓練の結果と目標の差を整理させる

AIは、訓練の記録(時刻、作業、判断)から 4 つの測定値を取り出し、目標との差を表にする下書きに役立ちます。

指示例:

「次の復旧訓練の記録から、検知までの時間、判断までの時間、復旧までの時間、戻せた時点を読み取り、添付の目標と並べて差を表にしてください。記録に時刻がなく読み取れない項目は『記録なし』と示し、推定しないでください。差の原因の推測や対策の提案はしないでください。」

10. REVIEW — AIの整理を確認する

  • AIが読み取った時刻が、記録と一致しているか
  • 「記録なし」の項目について、次の訓練で時刻を記録する手順を人が足したか
  • 訓練の記録を AI に渡してよいか(構成・連絡先の扱い)を事前に確かめたか

11. 人間が判断すること

  • 訓練の想定と頻度
  • 目標を達成できなかったとき、目標を変えるか、備えを増やすか
  • 訓練で業務を一時止めることを認めるか

重大障害判断は、AIへ最終委任しない事項です(正本の方針)。

12. 判断演習

あなたの職場で、ある重要な道具(業務システム、共有の書庫、連絡の手段のどれか)が丸一日使えなくなった、と想像してください。

「検知までの時間」「判断までの時間」「復旧までの時間」「戻せた時点」を、いまの備えならそれぞれどうなりそうかを書き、最も弱いのはどれか、それを確かめるならどんな訓練をするかを書いてください。

あなたの記録あなたの考え。事実ではありません

判断ノート

既定では保存しないため、ページを離れると消えます。

このユニットで覚えてほしいこと

復旧は訓練で初めて計画になる。想定を決め、検知・判断・復旧の時間と戻せた時点を測り、目標との差の原因で計画と手順を直す。達成できなかった訓練こそ価値がある。

次に読むもの

本文で参照している成果物:OPS-008 災害復旧計画・訓練結果、CUT-003 切り戻し計画書

関連成果物:未確定(baselineに対応表なし)

関連危機演習:未確定(baselineに対応表なし)

学習状況

状態:未着手