これは何か
データ品質・クレンジング一覧は、移行の前に見つかったデータの誤り・重複・欠けなど(データの汚れ)を1件ずつ登録し、どこで・誰が・どう直すかと、直した結果を追いかける一覧です。
クレンジングとは、データの汚れを見つけて直すことです。考え方は 11-04 汚れたデータをどうするか で学びます。
なぜ作るか
- 見つかった汚れを、忘れずに直すまで追いかける
- 直す判断を、誰が行ったかを残す(データを使う業務の担当が判断する)
- 移行のプログラムで直したものを、あとから確かめられるようにする
- 移行の練習のたびに、汚れが減っているかを見る
誰が使うか・いつ作るか
- 管理する人:データ移行の担当
- 判断する人:そのデータを使う業務の担当
- 使う人:移行のプログラムの担当、照合の担当
- 一般的には、移行の方針を決めた後、古いデータを調べ始めたときから作り、練習のたびに更新します
- アステリア案件で見つかった汚れの種類・件数・直し方は、正本に記載がありません。未確定
CASE FACTFROZEN正本に記載されたアステリア案件の事実
移行に関係する記載
- 10年分のデータ移行
- P-009 橋本 奈緒 — データ移行リーダー
- 成果物に DAT-003 データ移行方針書、DAT-004 データ移行対応表、DAT-006 データ移行リハーサル結果がある
主な項目(列)
一般的には、1行に次の列を持ちます。
- 番号
- 対象:どのデータの、どの項目か
- 汚れの種類:重複・欠け・形のばらつき・ありえない値・古い値・つながりの切れ など
- 件数:見つかった件数
- 直す場所:古いシステムで直す/移行の途中で直す(ルール)/新しいシステムで直す/移さない
- 直し方:ルールで直す場合は、そのルール
- 判断した人と日付
- 状態と結果:未対応・対応中・直した(練習で確かめた)
教材用サンプル成果物の読み方を学ぶための例
教材用サンプル — 一覧の数行
この成果物は学習用サンプルです。FROZEN正本に記載されたCASE FACTと、成果物の読み方を学ぶための教材用サンプル値を区別して表示しています。
次の表は、一覧の書き方を学ぶための例です。対象・件数・直し方は、すべて教材上の架空の例で、アステリア案件の記録ではありません。
| 番号 | 対象 | 汚れの種類 | 件数 | 直す場所 | 状態 |
|---|---|---|---|---|---|
| DQ-EX-01 | 顧客の名前 | 重複(表記の違いで2回登録) | 120 | 古いシステムで直す(業務の担当が1件ずつ判断) | 対応中 |
| DQ-EX-02 | 電話番号 | 形のばらつき(区切りの有無) | 3,400 | 移行の途中で直す(区切りを外すルール) | 直した(2回目の練習で確かめた) |
| DQ-EX-03 | 案件の担当者 | つながりの切れ(社員のデータにいない) | 45 | 古いシステムで直す(担当を付け替える) | 未対応 |
| DQ-EX-04 | 使われていない区分のコード | 古い値 | 600 | 移さない | 判断済み(業務の担当の承認あり) |
読み方
- 「直す場所」と「判断した人」が、すべての行で決まっているか
- 移行の途中で直す行に、ルールが書かれているか
- 「未対応」の行が、本番の移行までに片づく見込みか
- 練習で確かめた結果が書かれているか
- 練習のたびに、件数が減っているか
書き方
- 古いデータを調べ、汚れを見つけたら番号を取って登録する
- 対象・種類・件数を書く
- 業務の担当と、直す場所と直し方を決める
- 移行の途中で直す場合は、ルールと、直す前後の値を残す方法を決める
- 直したら、次の練習で確かめて結果を書く
何を書いてはいけないか
- 判断した人のいない「移行の途中で直す」
- ルールのない「直した」
- 業務の担当が確かめていない「移さない」
どこを見るか
- 直す場所と判断した人
- ルールで直す行のルール
- 未対応の件数と見込み
- 練習で確かめた結果
- 練習ごとの件数の変化
赤信号
- 判断した人の欄が、技術の担当だけ
- 同じ汚れが、練習のたびに登録され直している
- 移行の直前に、未対応の行が多く残っている
- 「移行のプログラムで直す」の行に、ルールが書かれていない
よくある失敗
- 汚れを見つけても登録せず、その場で直してしまう
- 直したあとに、新しい汚れが入らないようにする手を打たない
- 件数の多さだけを見て、業務への影響の大きさを見ない
関係するUnit・成果物・危機演習
- Unit:11-04 汚れたデータをどうするか、11-03 古い項目と新しい項目を対応させる、11-05 何度も移行リハーサルをする理由
- 成果物:DAT-003 データ移行方針書、DAT-004 データ移行対応表、DAT-006 データ移行リハーサル結果
- 危機演習:この成果物を直接の題材にする危機演習はありません
AI WORKFLOW
AIは、汚れの候補を見つける下書きに役立ちます。
「次のデータの見本から、重複の可能性があるもの、必ず入る項目が空のもの、形がばらばらな項目を候補として挙げ、それぞれ理由を添えてください。データを直したり、まとめたりしないでください。」
REVIEW
- AIが挙げた候補を、人が元のデータで確かめたか
- 「重複の可能性」を、業務の担当が確かめたか
- データを AI に渡してよいか(個人の情報の扱い)を、事前に確かめたか
人間が判断すること
- 汚れを直すか、そのまま移すか、移さないか
- どこで・誰が直すか
- ルールで一律に直してよいか
いつ使うか
この教材では STAGE 11|10年分のデータを新システムへ移す の文脈で扱います。 アステリア案件での正式な作成・使用時期(月)は正本に記載がないため、未確定としています。
最後の問い
この一覧を見た人は、「どんなデータの汚れが見つかり、どこで、誰の判断で、どう直すことになったか」を1件ずつ答えられますか?