Skip to content

怎么做数据质量检查清单?

02-04 怎么做数据质量检查清单?

Section titled “02-04 怎么做数据质量检查清单?”

这一课讲“怎么把检查动作变成可复用清单”。

数据质量检查不能每次靠感觉。行数检查、字段检查、重复检查、空值检查、格式检查、异常检查和处理规则记录,都可以沉淀成清单。AI 可以帮助生成清单,学员负责根据自己的业务表格调整。

这一课的成果是一份「数据质量检查清单」。

  • 能理解数据质量检查清单的价值。
  • 能建立行数、字段、重复、空值、格式、异常和规则七类检查项。
  • 能让 AI 根据表格用途生成检查清单。
  • 能把检查清单用于下一次数据整理。
  • 能完成数据质量检查清单。
  • 建议时长:25 到 35 分钟。
  • 延续上一课的问题排查卡。
  • 重点展示从一次排查变成可复用清单。
  • 强调清单要适合具体业务。
  • 收尾让学员完成自己的检查清单。
  • 表格问题排查卡。
  • 字段说明表。
  • 数据质量检查清单。

可以这样开场:

“如果每次整理数据都从头想一遍要检查什么,人会累,也容易漏。检查清单的价值,是把一次经验变成下次可以复用的动作。”

检查清单是数据整理里的护栏。它不会让你变成数据专家,但会让你少犯重复错误。尤其是普通人处理表格时,清单能把复杂的判断变成一项项可以勾选的动作。

这一课要承接上一课的问题排查卡。上一课发现了哪些问题,这一课就把这些问题整理成以后每次都能用的检查项。

一份数据质量检查清单可以包含七类。

第一,行数检查。

记录原始行数、处理后行数、删除或新增行数。

第二,字段检查。

确认字段是否完整,字段名是否一致,关键字段是否存在。

第三,重复检查。

确认去重依据,标出重复数量和处理方式。

第四,空值检查。

检查必填字段空值,记录空值处理规则。

第五,格式检查。

检查日期、手机号、金额、分类、大小写、单位。

第六,异常检查。

标出极端值、异常状态和需要人工确认的数据。

第七,规则记录。

记录处理规则、确认人、输出文件名和处理时间。

演示时可以拿上一课的问题清单,把它变成检查清单。比如上一课发现“报名状态写法不统一”,这节就写成检查项:“检查报名状态是否只包含已报名、未报名、取消三类;其他值标为待确认。”这才叫可复用。

每个检查项都要有三个要素:检查动作、通过标准、记录方式。比如“检查手机号格式”是动作;“全部为 11 位数字或脱敏格式”是通过标准;“异常手机号记录在问题清单”是记录方式。

还要提醒学员,清单不要做得太长。对普通工作表来说,先保留最影响结论的检查项。清单太长没人用,短而关键的清单才能坚持。

示范表达:

请根据这张表的用途,帮我生成数据质量检查清单。
表格来源:
表格用途:
字段说明:
常见问题:
后续要生成的结果:
请输出检查清单,包含:
1. 行数检查
2. 字段检查
3. 重复检查
4. 空值检查
5. 格式检查
6. 异常检查
7. 处理规则记录
每个检查项请写清检查动作、通过标准和记录方式。

最后收束:

“数据质量检查清单,是你和事实之间的一道护栏。清单越清楚,结论越稳。”

  1. 打开上一课的问题排查卡。
  2. 按七类建立检查清单。
  3. 让 AI 补充检查动作和通过标准。
  4. 人工删掉和当前业务无关的检查项。
  5. 补充记录方式和确认人。
  6. 挑出 5 个最高优先级检查项。
  7. 保存数据质量检查清单。
请帮我生成数据质量检查清单。
表格来源:
表格用途:
字段说明:
已发现问题:
后续输出:
请输出表格:
- 检查类型
- 检查动作
- 通过标准
- 记录方式
- 需要人工确认的地方
  • 行数检查:
  • 字段检查:
  • 重复检查:
  • 空值检查:
  • 格式检查:
  • 异常检查:
  • 规则记录:
  • 通过标准:
  • 人工确认:
  • 输出文件:

让学员为自己的表格建立检查清单。

要求:

  • 至少包含七类检查项。
  • 每类写检查动作。
  • 每类写通过标准。
  • 每类写记录方式。
  • 删除和自己业务无关的检查项。
  • 清单太泛:根据自己的字段和用途调整。
  • 通过标准缺失:每项都写“怎样算通过”。
  • 检查完没有记录:补记录方式和确认人。
  • 清单太长不想用:保留最影响结论的检查项。

完成一份数据质量检查清单。

提交内容:

  • 七类检查项。
  • 每项检查动作。
  • 每项通过标准。
  • 记录方式。
  • 人工确认事项。
  • 第 1 页:把检查动作变成清单
  • 第 2 页:七类质量检查
  • 第 3 页:检查动作、通过标准、记录方式
  • 第 4 页:清单要适合业务
  • 第 5 页:数据质量检查清单