Skip to content

怎么记录清洗规则?

这一课讲“数据处理要留下脚印”。

一份数据处理完以后,如果没人知道哪些行被删除、哪些字段被修改、哪些空值被保留、哪些规则由人工确认,后面的报告就很难被信任。AI 可以帮助整理清洗记录和输出文件命名规则。

这一课的成果是一份「清洗规则记录表」。

  • 能记录清洗前后的关键变化。
  • 能写清删除、修改、保留和人工确认规则。
  • 能设计输出文件命名方式。
  • 能让 AI 帮忙整理清洗记录。
  • 能完成清洗规则记录表。
  • 建议时长:25 到 35 分钟。
  • 用前面清洗过的样例表继续演示。
  • 重点讲规则记录和追溯。
  • 展示一份处理记录如何支撑报告可信度。
  • 收尾让学员完成清洗规则记录表。
  • 原始文件。
  • 工作文件。
  • 重复和空值处理卡。
  • 字段格式统一卡。
  • 清洗规则记录表。

可以这样开场:

“数据处理留下脚印,结论才站得住。你改过什么、删过什么、保留过什么,都要让后面的人能看见。”

很多数据整理的问题,发生在“处理完之后”。当时觉得只是顺手删了几行、改了几个格式、合并了几个重复项,过几天写报告时,已经说不清到底动过哪里。清洗规则记录,就是防止数据过程变成黑盒。

这一课要让学员养成一个习惯:每做一次会影响结果的处理,就记录一条。记录不用很文学,也不用很长,只要后面的人能复查。

清洗规则记录可以包含六类。

第一,哪些行被删除。

删除原因、删除依据、删除数量。比如“删除重复订单 12 条,依据为订单编号完全相同,保留最早创建记录”。

第二,哪些字段被修改。

修改字段、修改前问题、修改后规则。比如“将报名状态中的‘已报名、报名成功、成功’统一为‘已报名’”。

第三,哪些空值被保留。

保留原因,以及是否影响统计。空值不一定都要删,有些空值本身就是业务事实。比如“备注为空”通常可以保留,“付款状态为空”就可能影响统计。

第四,哪些规则由人工确认。

确认人、确认时间、确认内容。

第五,输出文件命名。

文件名要能看出日期、版本和处理状态,比如 客户表_清洗后_20260605.xlsx。

第六,处理后检查。

行数、字段、重复、空值、格式和异常检查结果。

这里可以演示一个非常小的记录表。原始文件 1000 行,删除重复 12 行,统一状态字段 3 类写法,保留备注空值,确认付款状态空值需要排除统计,最终输出 988 行。让 AI 把这些动作整理成清洗规则记录表。学员会发现,记录过程并不复杂,但会极大提升结论可信度。

还要提醒,不要把原始文件直接改掉。原始文件保留,工作文件处理,输出文件命名。这个三件套能救很多场:原始文件是证据,工作文件是过程,输出文件是结果。

最后让 AI 帮忙做处理后检查:行数是否符合预期,关键字段是否还在,重复和空值是否处理,格式是否统一。检查结果也写进记录表。

示范表达:

请帮我整理本次数据清洗记录。
原始文件:
工作文件:
处理目标:
已执行操作:
人工确认规则:
处理前后行数:
处理后检查结果:
请输出清洗规则记录表,包含:
1. 操作类型
2. 涉及字段或行
3. 处理规则
4. 处理数量
5. 确认人
6. 输出文件
7. 备注

最后收束:

“清洗规则记录写给将来要复查结论的人。它让一份数据从处理结果变成可信过程。”

  1. 打开前面处理过的工作文件。
  2. 记录原始文件和工作文件名称。
  3. 汇总删除、修改、保留和确认规则。
  4. 让 AI 整理成清洗规则记录表。
  5. 设计输出文件命名。
  6. 对比原始文件、工作文件和输出文件。
  7. 做一次处理后检查。
  8. 保存清洗规则记录表。
请帮我生成清洗规则记录表。
原始文件:
工作文件:
处理目标:
执行过的操作:
人工确认规则:
处理前后行数:
处理后检查:
请输出表格:
- 操作类型
- 涉及字段或行
- 处理规则
- 处理数量
- 确认人
- 输出文件
- 备注
  • 原始文件:
  • 工作文件:
  • 处理目标:
  • 操作类型:
  • 涉及字段或行:
  • 处理规则:
  • 处理数量:
  • 确认人:
  • 输出文件:
  • 处理后检查:

让学员为一次清洗过程写记录。

要求:

  • 写出原始文件和工作文件。
  • 记录至少 3 条处理规则。
  • 写清处理数量。
  • 标出人工确认规则。
  • 设计输出文件名。
  • 处理完才想起记录:每做一步就记一条。
  • 只写“已清洗”:写清具体字段和规则。
  • 输出文件名混乱:文件名包含日期和状态。
  • 规则没人确认:高风险规则标出确认人。

完成一份清洗规则记录表。

提交内容:

  • 原始文件和工作文件说明。
  • 至少 3 条处理规则。
  • 输出文件名。
  • 处理后检查结果。
  • 第 1 页:数据处理要留下脚印
  • 第 2 页:清洗记录六类内容
  • 第 3 页:删除、修改、保留、确认
  • 第 4 页:输出文件命名
  • 第 5 页:清洗规则记录表