このユニットの結論
古いシステムのデータには、必ずと言ってよいほど誤り・重複・欠けがあります。これを「汚れたデータ」と呼ぶことがあります。
汚れを移行の前に見つけ、どこで・誰が・どう直すかを決め、直した記録を残すことが大切です。移行のプログラムで黙って直してしまうと、何を変えたのかが分からなくなります。
1. 何の話か
このユニットは、データの品質と、その直し方（クレンジング）の話です。
クレンジングとは、データの誤りや重複を見つけて直すことです。長く使われてきたシステムには、入力の誤り、同じものの二重登録、途中で決まりが変わったことによる形のばらつきなどが、少しずつたまっています。
2. なぜ必要か
汚れたデータを放っておくと、
- 新しいシステムの入力の決まりに合わず、データが入らない
- 入りはするが、重複した顧客や、所属の分からない社員が新しいシステムに残る
- 移行の練習のたびに同じエラーが出て、本番の直前まで片づかない
- 稼働後に、誤ったデータのもとで業務が進む
ということが起きます。
3. このユニットで分かること
- 汚れたデータの代表的な種類
- どこで直すか（3つの場所）
- 直すことを決める人と、記録
- データの品質の確認で、AIに任せてよいことと人間が決めること
4. 汚れたデータの代表的な種類
| 種類 | 例（教材上の例） |
|---|---|
| 重複 | 同じ顧客が、表記を変えて2回登録されている |
| 欠け | 必ず入っているはずの項目が空になっている |
| 形のばらつき | 日付や電話番号の書き方が、年によって違う |
| ありえない値 | 終了日が開始日より前になっている |
| 古い値 | 廃止された部署のコードが残っている |
| つながりの切れ | 案件の担当者が、社員のデータに存在しない |
5. どこで直すか
一般的には、次の3つの場所があります。
| 場所 | 内容 | 向いているもの |
|---|---|---|
| 古いシステムで直す | 移行の前に、古いシステムの中で直す | 業務の担当が1件ずつ判断して直すもの |
| 移行の途中で直す | 移行のプログラムで、決めたルールで変換して直す | 形のばらつきなど、ルールで一律に直せるもの |
| 新しいシステムで直す | 移行したあとに、新しいシステムで直す | 稼働までに間に合わず、業務への影響が小さいもの |
どこで直すにしても、何を、どのルールで、誰の判断で直したかを記録します。移行の途中で直す場合は、直す前と後の値を残しておくと、あとで確かめられます。
CASE FACTFROZEN正本に記載されたアステリア案件の事実
アステリア案件に関係する記載
- 10年分のデータ移行
- P-009 橋本 奈緒 — データ移行リーダー
- 成果物に DAT-005 データ品質・クレンジング一覧がある
アステリア案件のデータの品質の状況、見つかった汚れの種類と件数、直し方と判断した人は、正本に記載がありません。未確定
6. THINK — 「プログラムで全部直しておきます」
移行の練習で、重複した顧客のデータが見つかりました。移行のプログラムの担当者が、次のように言いました。
「名前と住所が似ているものは、プログラムで自動的に1つにまとめておきます。業務の人の手をわずらわせることはありません。」
問題
この進め方でよいでしょうか。
判断例を開く
判断
このままでは進められません。
確認すること:
- 「似ている」けれど、本当は別の顧客というものはないか（同じ名前の別の会社、同じ会社の別の拠点など）
- まとめたときに、どちらのデータの値を残すのか。その判断を誰がするか
- まとめた顧客に結びついている案件などのデータは、どうなるか
- まとめた記録（どれとどれを、なぜまとめたか）を残すか
まとめてよいかどうかは、そのデータを使う業務の担当でなければ判断できません。ルールで直す場合も、そのルールを業務の担当が承認し、結果を確かめます。
7. よくある失敗
- 汚れに、移行の直前になって初めて気づく
- 移行のプログラムで黙って直し、何を変えたのかが記録に残らない
- 直すことを技術の担当だけで判断する
- 直す担当と期限を決めず、練習のたびに同じ汚れが出る
- 直したあとに、新しい汚れが入らない仕組み（入力の決まりなど）を考えない
8. 成果物との接続
- DAT-005 データ品質・クレンジング一覧：見つかった汚れと、直し方・担当・状態を管理する
- DAT-003 データ移行方針書：データの品質をどう扱うかの方針
- DAT-001 データ一覧・管理責任表：データごとに、直す判断をする責任者
直したデータが正しく移ったかは、照合（11-06）で確かめます。
9. AI WORKFLOW — 汚れの候補を洗い出させる
AIは、大量のデータから、汚れの候補を洗い出す下書きに役立ちます。
指示例:
「次のデータの見本から、①重複の可能性があるもの、②必ず入るはずの項目が空のもの、③形がばらばらな項目、④ありえない値の組み合わせ、を候補として挙げ、それぞれに理由を添えてください。データを直したり、まとめたりしないでください。」
10. REVIEW — AIの洗い出しを確認する
- AIが挙げた候補を、人が元のデータで確かめたか
- 「重複の可能性」とされたものを、業務の担当が確かめたか
- データを AI に渡してよいか（個人の情報・秘密の扱い）を、事前に確かめたか
11. 人間が判断すること
- 汚れを直すか、そのまま移すか、移さないか
- どこで・誰が直すか
- ルールで一律に直してよいか
12. 判断演習
あなたは、データの品質の担当です。
移行の練習で、「担当者が社員のデータに存在しない案件」が見つかりました。直し方を決めるために、確かめることを3つ挙げてください。
あなたの記録あなたの考え。事実ではありません
判断ノート
このユニットで覚えてほしいこと
汚れたデータは、移行の前に見つけ、どこで・誰が・どう直すかを決め、記録を残して直します。
直す判断は、そのデータを使う業務の担当が行います。