Unit 11-08(STAGE 11 の 8 / 8)

データ品質で止める仕組みをどう作るか

学習状況:未着手

このユニットの結論

品質の悪いデータは、流れ込んでから直すより、流れ込む前に止めるほうが安く済みます。

処理の途中に「この基準を満たさなければ先へ進めない」関門を置き、基準・測り方・止めたときに判断する人を決めておく。止めるだけでは業務が止まるので、「誰が、どの選択肢から決めるか」までが仕組みです。

1. 何の話か

このユニットは、データの品質を基準で測り、基準を下回ったら処理を止める仕組み(品質ゲート)の話です。

11-04 汚れたデータをどうするか で、汚れの種類と直し方を学びました。このユニットは、汚れを「見つけて直す」から「流れ込む前に止める」へ進めます。移行のときだけでなく、稼働後の連携にも同じ仕組みが要ります。

2. なぜ必要か

止める仕組みがないと、

ということが起きます。

3. このユニットで分かること

4. どこに置き、何を測るか

ゲートの場所(一般的な例) 測ること 目的
受け取った直後 形式(型、桁、必須の項目)、参照先の存在(社員番号、案件番号が正本にあるか)、値の範囲(1 日の工数が 0 超 24 以下) 壊れたデータを取り込まない
変換の後 変換の前後で合計が保たれているか、丸めの誤差が許容内か 変換の誤りを見つける
集計の前 前回との差が想定の範囲か、重複がないか 異常な増減を見つける
下流へ渡す前 明細の合計と集計が一致するか、相手が受け取れる形か 相手システムを汚さない

場所は「流れ込む前に止められる位置」に置きます。下流へ渡してから気づいても、もう止められません。

5. 基準と、止めたときの判断

基準は実測から決めます。 移行のリハーサル(11-05 何度も移行リハーサルをする理由)や稼働後の推移で、普段の値がどのくらいかを測り、そこから「止める」線と「警告する」線を引きます。最初から厳しい基準を置くと毎回止まり、現場は「止めない運用」に変えてしまいます。それはゲートがないのと同じです。

止めると警告を分けます。 参照先が存在しない、合計が合わない、のような「先に進めば必ず壊れる」ものは止めます。前回との差が大きい、のような「おかしいかもしれない」ものは警告にし、確認を依頼して処理は進めます。

止めたときの判断する人は、データの持ち主です。 止まったデータを、通す・直す・捨てるのどれにするかは、業務の判断です。データの担当が代わりに決めると、業務の責任が曖昧になります(05-08 データの持ち主をどう決めるか)。判断の記録を残します。

ゲートの定義は DAT-008 データ系譜・品質ゲート定義 に、見つかった汚れの直し方は DAT-005 データ品質・クレンジング一覧 に書きます。

CASE FACTFROZEN正本に記載されたアステリア案件の事実

アステリア案件のデータ品質に関する記載

  • 10年分のデータ移行。最重要データチェーン:顧客 → 契約 → 案件 → 要員 → 工数 → 原価 → 売上 → 請求 → 会計 → 経営分析
  • 連携:IF-04 工数連携(勤怠・工数SaaS → 連携基盤 → 新基幹)、IF-05 売上仕訳連携、IF-07 原価仕訳連携(新基幹 → 連携基盤 → FIN-CORE)
  • 成果物に DAT-005 データ品質・クレンジング一覧、DAT-006 データ移行リハーサル結果、DAT-007 データ照合報告書、DAT-008 データ系譜・品質ゲート定義 がある
  • P-009 橋本 奈緒 — データ移行リーダー、P-005 藤本 遥 — 経理業務リーダー

アステリア案件でゲートがどこに置かれ、どんな基準で、止まったときに誰が判断したかは、正本に記録がありません。記録なし

6. THINK — 「毎回止まるので、基準を外したい」

稼働後、工数の取り込みが毎朝ゲートで止まり、担当者が手で通す作業が続いています。運用の担当者が次のように提案しました。

「参照先の存在の確認で毎朝止まります。業務に支障が出ているので、このゲートを外して、取り込んでから直す運用にしたいです。」

問題

この提案を認めてよいでしょうか。

判断例を開く

判断

「毎回止まる」は、ゲートの問題ではなく、上流の問題を知らせている可能性があります。外す前に、何が止まっているかを見ます。

確認すること:

  • 止まっているデータの中身は何か。存在しない社員番号なら、人事マスターの連携(IF-03)が遅れているのか、退職者の工数なのか、入力の誤りなのか
  • 止まった件数の推移。減っているなら上流の改善が効いている。減らないなら上流に手を打つ
  • 「取り込んでから直す」場合、直すまでの間に下流(原価、仕訳)へ流れないか。流れるなら外せない
  • 毎朝の判断を、データの持ち主である業務部門がしているか。運用の担当が肩代わりしていないか
  • 外すのではなく、「警告にして進める」で済む項目と、「止める」を残す項目に分けられないか

ゲートは上流の問題を見せる窓です。窓を閉めれば問題は見えなくなりますが、なくなりません。

7. よくある失敗

8. 成果物との接続

9. AI WORKFLOW — 止まったデータの分類を手伝わせる

AIは、ゲートで止まったデータの一覧を、止まった理由ごとに分類し、件数と傾向を整理する下書きに役立ちます。

指示例:

「次のゲートで止まったデータの一覧を、止まった理由(参照先なし、形式の誤り、範囲外、重複)ごとに分類し、理由ごとの件数と、日ごとの推移を表にしてください。通す・直す・捨てるの判断はしないでください。上流の原因も推定しないでください。」

10. REVIEW — AIの分類を確認する

  • AIの分類が、ゲートの基準と対応しているか(基準にない理由を作っていないか)
  • 件数と推移から、上流に手を打つべきものを人が見分けたか
  • 止まったデータ(社員番号や案件の情報)を AI に渡してよいかを事前に確かめたか

11. 人間が判断すること

  • ゲートの場所と基準。止めるか、警告か
  • 止まったデータを、通す・直す・捨てるのどれにするか(データの持ち主が決める)
  • 基準を見直す時期と、上流に手を打つか

要件確定は、AIへ最終委任しない事項です(正本の方針)。

12. 判断演習

「営業管理システムから新基幹へ、顧客の情報を取り込む連携」にゲートを置くとします。

受け取った直後と、下流へ渡す前の 2 か所について、測ること(基準)を 2 つずつ書き、それぞれ「止める」か「警告」かを決めてください。止めたとき、誰が判断するべきかも書いてください。

あなたの記録あなたの考え。事実ではありません

判断ノート

既定では保存しないため、ページを離れると消えます。

このユニットで覚えてほしいこと

汚れは、流れ込む前に止める。流れ込む前の位置にゲートを置き、実測から基準を決め、止めると警告を分け、止めたときはデータの持ち主が決める。毎回止まるなら、上流を見る。

次に読むもの

本文で参照している成果物:DAT-008 データ系譜・品質ゲート定義、DAT-005 データ品質・クレンジング一覧

関連成果物:未確定(baselineに対応表なし)

関連危機演習:未確定(baselineに対応表なし)

学習状況

状態:未着手