怎么做数据质量检查清单?
02-04 怎么做数据质量检查清单?
Section titled “02-04 怎么做数据质量检查清单?”这一课讲“怎么把检查动作变成可复用清单”。
数据质量检查不能每次靠感觉。行数检查、字段检查、重复检查、空值检查、格式检查、异常检查和处理规则记录,都可以沉淀成清单。AI 可以帮助生成清单,学员负责根据自己的业务表格调整。
这一课的成果是一份「数据质量检查清单」。
- 能理解数据质量检查清单的价值。
- 能建立行数、字段、重复、空值、格式、异常和规则七类检查项。
- 能让 AI 根据表格用途生成检查清单。
- 能把检查清单用于下一次数据整理。
- 能完成数据质量检查清单。
- 建议时长:25 到 35 分钟。
- 延续上一课的问题排查卡。
- 重点展示从一次排查变成可复用清单。
- 强调清单要适合具体业务。
- 收尾让学员完成自己的检查清单。
- 表格问题排查卡。
- 字段说明表。
- 数据质量检查清单。
可以这样开场:
“如果每次整理数据都从头想一遍要检查什么,人会累,也容易漏。检查清单的价值,是把一次经验变成下次可以复用的动作。”
检查清单是数据整理里的护栏。它不会让你变成数据专家,但会让你少犯重复错误。尤其是普通人处理表格时,清单能把复杂的判断变成一项项可以勾选的动作。
这一课要承接上一课的问题排查卡。上一课发现了哪些问题,这一课就把这些问题整理成以后每次都能用的检查项。
一份数据质量检查清单可以包含七类。
第一,行数检查。
记录原始行数、处理后行数、删除或新增行数。
第二,字段检查。
确认字段是否完整,字段名是否一致,关键字段是否存在。
第三,重复检查。
确认去重依据,标出重复数量和处理方式。
第四,空值检查。
检查必填字段空值,记录空值处理规则。
第五,格式检查。
检查日期、手机号、金额、分类、大小写、单位。
第六,异常检查。
标出极端值、异常状态和需要人工确认的数据。
第七,规则记录。
记录处理规则、确认人、输出文件名和处理时间。
演示时可以拿上一课的问题清单,把它变成检查清单。比如上一课发现“报名状态写法不统一”,这节就写成检查项:“检查报名状态是否只包含已报名、未报名、取消三类;其他值标为待确认。”这才叫可复用。
每个检查项都要有三个要素:检查动作、通过标准、记录方式。比如“检查手机号格式”是动作;“全部为 11 位数字或脱敏格式”是通过标准;“异常手机号记录在问题清单”是记录方式。
还要提醒学员,清单不要做得太长。对普通工作表来说,先保留最影响结论的检查项。清单太长没人用,短而关键的清单才能坚持。
示范表达:
请根据这张表的用途,帮我生成数据质量检查清单。
表格来源:表格用途:字段说明:常见问题:后续要生成的结果:
请输出检查清单,包含:1. 行数检查2. 字段检查3. 重复检查4. 空值检查5. 格式检查6. 异常检查7. 处理规则记录
每个检查项请写清检查动作、通过标准和记录方式。最后收束:
“数据质量检查清单,是你和事实之间的一道护栏。清单越清楚,结论越稳。”
屏幕演示流程
Section titled “屏幕演示流程”- 打开上一课的问题排查卡。
- 按七类建立检查清单。
- 让 AI 补充检查动作和通过标准。
- 人工删掉和当前业务无关的检查项。
- 补充记录方式和确认人。
- 挑出 5 个最高优先级检查项。
- 保存数据质量检查清单。
给 AI 的协作卡
Section titled “给 AI 的协作卡”请帮我生成数据质量检查清单。
表格来源:表格用途:字段说明:已发现问题:后续输出:
请输出表格:- 检查类型- 检查动作- 通过标准- 记录方式- 需要人工确认的地方数据质量检查清单
Section titled “数据质量检查清单”- 行数检查:
- 字段检查:
- 重复检查:
- 空值检查:
- 格式检查:
- 异常检查:
- 规则记录:
- 通过标准:
- 人工确认:
- 输出文件:
让学员为自己的表格建立检查清单。
要求:
- 至少包含七类检查项。
- 每类写检查动作。
- 每类写通过标准。
- 每类写记录方式。
- 删除和自己业务无关的检查项。
- 清单太泛:根据自己的字段和用途调整。
- 通过标准缺失:每项都写“怎样算通过”。
- 检查完没有记录:补记录方式和确认人。
- 清单太长不想用:保留最影响结论的检查项。
完成一份数据质量检查清单。
提交内容:
- 七类检查项。
- 每项检查动作。
- 每项通过标准。
- 记录方式。
- 人工确认事项。
- 第 1 页:把检查动作变成清单
- 第 2 页:七类质量检查
- 第 3 页:检查动作、通过标准、记录方式
- 第 4 页:清单要适合业务
- 第 5 页:数据质量检查清单