DAT-005

データ品質・クレンジング一覧

分類:DATA実物サンプルあり

これは何か

データ品質・クレンジング一覧は、移行の前に見つかったデータの誤り・重複・欠けなど(データの汚れ)を1件ずつ登録し、どこで・誰が・どう直すかと、直した結果を追いかける一覧です。

クレンジングとは、データの汚れを見つけて直すことです。考え方は 11-04 汚れたデータをどうするか で学びます。

なぜ作るか

誰が使うか・いつ作るか

CASE FACTFROZEN正本に記載されたアステリア案件の事実

移行に関係する記載

  • 10年分のデータ移行
  • P-009 橋本 奈緒 — データ移行リーダー
  • 成果物に DAT-003 データ移行方針書、DAT-004 データ移行対応表、DAT-006 データ移行リハーサル結果がある

主な項目(列)

一般的には、1行に次の列を持ちます。

  1. 番号
  2. 対象:どのデータの、どの項目か
  3. 汚れの種類:重複・欠け・形のばらつき・ありえない値・古い値・つながりの切れ など
  4. 件数:見つかった件数
  5. 直す場所:古いシステムで直す/移行の途中で直す(ルール)/新しいシステムで直す/移さない
  6. 直し方:ルールで直す場合は、そのルール
  7. 判断した人と日付
  8. 状態と結果:未対応・対応中・直した(練習で確かめた)

教材用サンプル成果物の読み方を学ぶための例

教材用サンプル — 一覧の数行

この成果物は学習用サンプルです。FROZEN正本に記載されたCASE FACTと、成果物の読み方を学ぶための教材用サンプル値を区別して表示しています。

次の表は、一覧の書き方を学ぶための例です。対象・件数・直し方は、すべて教材上の架空の例で、アステリア案件の記録ではありません。

番号 対象 汚れの種類 件数 直す場所 状態
DQ-EX-01 顧客の名前 重複(表記の違いで2回登録) 120 古いシステムで直す(業務の担当が1件ずつ判断) 対応中
DQ-EX-02 電話番号 形のばらつき(区切りの有無) 3,400 移行の途中で直す(区切りを外すルール) 直した(2回目の練習で確かめた)
DQ-EX-03 案件の担当者 つながりの切れ(社員のデータにいない) 45 古いシステムで直す(担当を付け替える) 未対応
DQ-EX-04 使われていない区分のコード 古い値 600 移さない 判断済み(業務の担当の承認あり)

読み方

  1. 「直す場所」と「判断した人」が、すべての行で決まっているか
  2. 移行の途中で直す行に、ルールが書かれているか
  3. 「未対応」の行が、本番の移行までに片づく見込みか
  4. 練習で確かめた結果が書かれているか
  5. 練習のたびに、件数が減っているか

書き方

  1. 古いデータを調べ、汚れを見つけたら番号を取って登録する
  2. 対象・種類・件数を書く
  3. 業務の担当と、直す場所と直し方を決める
  4. 移行の途中で直す場合は、ルールと、直す前後の値を残す方法を決める
  5. 直したら、次の練習で確かめて結果を書く

何を書いてはいけないか

どこを見るか

  1. 直す場所と判断した人
  2. ルールで直す行のルール
  3. 未対応の件数と見込み
  4. 練習で確かめた結果
  5. 練習ごとの件数の変化

赤信号

  • 判断した人の欄が、技術の担当だけ
  • 同じ汚れが、練習のたびに登録され直している
  • 移行の直前に、未対応の行が多く残っている
  • 「移行のプログラムで直す」の行に、ルールが書かれていない

よくある失敗

関係するUnit・成果物・危機演習

AI WORKFLOW

AIは、汚れの候補を見つける下書きに役立ちます。

「次のデータの見本から、重複の可能性があるもの、必ず入る項目が空のもの、形がばらばらな項目を候補として挙げ、それぞれ理由を添えてください。データを直したり、まとめたりしないでください。」

REVIEW

  • AIが挙げた候補を、人が元のデータで確かめたか
  • 「重複の可能性」を、業務の担当が確かめたか
  • データを AI に渡してよいか(個人の情報の扱い)を、事前に確かめたか

人間が判断すること

  • 汚れを直すか、そのまま移すか、移さないか
  • どこで・誰が直すか
  • ルールで一律に直してよいか

いつ使うか

この教材では STAGE 11|10年分のデータを新システムへ移す の文脈で扱います。 アステリア案件での正式な作成・使用時期(月)は正本に記載がないため、未確定としています。

最後の問い

この一覧を見た人は、「どんなデータの汚れが見つかり、どこで、誰の判断で、どう直すことになったか」を1件ずつ答えられますか?

学習上の接続

教材上の学習接続です。成果物とUnitの正式な対応表はbaselineにないため、正式な関連付けとしては登録していません。

  • Stage:未確定(baselineに対応表なし)
  • 危機演習:未確定(baselineに対応表なし)
  • 人物:未確定(baselineに対応表なし)