怎么记录清洗规则?
03-04 怎么记录清洗规则?
Section titled “03-04 怎么记录清洗规则?”这一课讲“数据处理要留下脚印”。
一份数据处理完以后,如果没人知道哪些行被删除、哪些字段被修改、哪些空值被保留、哪些规则由人工确认,后面的报告就很难被信任。AI 可以帮助整理清洗记录和输出文件命名规则。
这一课的成果是一份「清洗规则记录表」。
- 能记录清洗前后的关键变化。
- 能写清删除、修改、保留和人工确认规则。
- 能设计输出文件命名方式。
- 能让 AI 帮忙整理清洗记录。
- 能完成清洗规则记录表。
- 建议时长:25 到 35 分钟。
- 用前面清洗过的样例表继续演示。
- 重点讲规则记录和追溯。
- 展示一份处理记录如何支撑报告可信度。
- 收尾让学员完成清洗规则记录表。
- 原始文件。
- 工作文件。
- 重复和空值处理卡。
- 字段格式统一卡。
- 清洗规则记录表。
可以这样开场:
“数据处理留下脚印,结论才站得住。你改过什么、删过什么、保留过什么,都要让后面的人能看见。”
很多数据整理的问题,发生在“处理完之后”。当时觉得只是顺手删了几行、改了几个格式、合并了几个重复项,过几天写报告时,已经说不清到底动过哪里。清洗规则记录,就是防止数据过程变成黑盒。
这一课要让学员养成一个习惯:每做一次会影响结果的处理,就记录一条。记录不用很文学,也不用很长,只要后面的人能复查。
清洗规则记录可以包含六类。
第一,哪些行被删除。
删除原因、删除依据、删除数量。比如“删除重复订单 12 条,依据为订单编号完全相同,保留最早创建记录”。
第二,哪些字段被修改。
修改字段、修改前问题、修改后规则。比如“将报名状态中的‘已报名、报名成功、成功’统一为‘已报名’”。
第三,哪些空值被保留。
保留原因,以及是否影响统计。空值不一定都要删,有些空值本身就是业务事实。比如“备注为空”通常可以保留,“付款状态为空”就可能影响统计。
第四,哪些规则由人工确认。
确认人、确认时间、确认内容。
第五,输出文件命名。
文件名要能看出日期、版本和处理状态,比如 客户表_清洗后_20260605.xlsx。
第六,处理后检查。
行数、字段、重复、空值、格式和异常检查结果。
这里可以演示一个非常小的记录表。原始文件 1000 行,删除重复 12 行,统一状态字段 3 类写法,保留备注空值,确认付款状态空值需要排除统计,最终输出 988 行。让 AI 把这些动作整理成清洗规则记录表。学员会发现,记录过程并不复杂,但会极大提升结论可信度。
还要提醒,不要把原始文件直接改掉。原始文件保留,工作文件处理,输出文件命名。这个三件套能救很多场:原始文件是证据,工作文件是过程,输出文件是结果。
最后让 AI 帮忙做处理后检查:行数是否符合预期,关键字段是否还在,重复和空值是否处理,格式是否统一。检查结果也写进记录表。
示范表达:
请帮我整理本次数据清洗记录。
原始文件:工作文件:处理目标:已执行操作:人工确认规则:处理前后行数:处理后检查结果:
请输出清洗规则记录表,包含:1. 操作类型2. 涉及字段或行3. 处理规则4. 处理数量5. 确认人6. 输出文件7. 备注最后收束:
“清洗规则记录写给将来要复查结论的人。它让一份数据从处理结果变成可信过程。”
屏幕演示流程
Section titled “屏幕演示流程”- 打开前面处理过的工作文件。
- 记录原始文件和工作文件名称。
- 汇总删除、修改、保留和确认规则。
- 让 AI 整理成清洗规则记录表。
- 设计输出文件命名。
- 对比原始文件、工作文件和输出文件。
- 做一次处理后检查。
- 保存清洗规则记录表。
给 AI 的协作卡
Section titled “给 AI 的协作卡”请帮我生成清洗规则记录表。
原始文件:工作文件:处理目标:执行过的操作:人工确认规则:处理前后行数:处理后检查:
请输出表格:- 操作类型- 涉及字段或行- 处理规则- 处理数量- 确认人- 输出文件- 备注清洗规则记录表
Section titled “清洗规则记录表”- 原始文件:
- 工作文件:
- 处理目标:
- 操作类型:
- 涉及字段或行:
- 处理规则:
- 处理数量:
- 确认人:
- 输出文件:
- 处理后检查:
让学员为一次清洗过程写记录。
要求:
- 写出原始文件和工作文件。
- 记录至少 3 条处理规则。
- 写清处理数量。
- 标出人工确认规则。
- 设计输出文件名。
- 处理完才想起记录:每做一步就记一条。
- 只写“已清洗”:写清具体字段和规则。
- 输出文件名混乱:文件名包含日期和状态。
- 规则没人确认:高风险规则标出确认人。
完成一份清洗规则记录表。
提交内容:
- 原始文件和工作文件说明。
- 至少 3 条处理规则。
- 输出文件名。
- 处理后检查结果。
- 第 1 页:数据处理要留下脚印
- 第 2 页:清洗记录六类内容
- 第 3 页:删除、修改、保留、确认
- 第 4 页:输出文件命名
- 第 5 页:清洗规则记录表