怎么清理重复和空值？

03-01 怎么清理重复和空值？

课程定位

这一课讲“怎么处理最常见的数据脏点”。

重复和空值是数据整理里最常见的问题。处理它们时，关键不在于立刻删除，而在于先确认去重依据、空值处理规则、原始数据备份和处理记录。AI 可以帮助列步骤、生成检查表和提示风险。

这一课的成果是一张「重复和空值处理卡」。

本课目标

能确认去重依据。
能区分可删除重复、需合并重复和待确认重复。
能确认空值处理方式。
能保留原始备份并记录处理规则。
能完成重复和空值处理卡。

录制建议

建议时长：30 到 40 分钟。
使用含重复和空值的样例表演示。
重点讲规则确认，少讲软件按钮细节。
演示处理前后行数记录。
收尾让学员完成一张处理卡。

课前准备

原始样例表。
工作文件副本。
字段说明表。
数据规则确认卡。
重复和空值处理卡。

讲稿正文

可以这样开场：

“清理重复和空值，看起来是最简单的数据处理，实际上最容易伤到事实。删错一行，可能少一个客户；填错一个空值，可能改掉真实情况。”

这一课要让学员把“清理”理解成谨慎动作。重复不一定都是垃圾，空值也不一定都是错误。很多业务数据里，重复可能代表多次购买、多次报名、多次咨询；空值可能代表暂未填写、尚未发生、无需填写。先确认，再处理。

可以告诉学员，AI 在这里最适合做三件事：列出可能的处理选项，提示每种选项的风险，帮你整理处理记录。真正选择哪种规则，要回到业务口径。

处理重复和空值可以分五步。

第一，保留原始文件。

所有清洗都在工作文件上做，原始文件只用来追溯。

第二，确认去重依据。

按手机号、订单号、身份证号、姓名加日期，结果都可能不同。去重依据必须写清楚。

第三，标出重复行。

先标出重复，别急着删。重复可能代表录入错误，也可能代表真实多次记录。

第四，确认空值规则。

空值可以删除、保留、填“未知”、填 0、单独标记待确认。不同字段规则不同。

第五，记录处理结果。

记录原始行数、处理后行数、删除行数、保留异常和确认人。

演示时可以用一个 20 行的小表，里面放 3 条手机号重复、2 个付款状态空值、1 个备注空值。先让 AI 判断“可能重复”和“可能影响统计的空值”，再让 AI 生成处理选项。比如手机号重复可以保留最新记录，也可以合并备注，也可以标记待确认；付款状态空值可以排除统计，也可以标记待确认；备注空值通常可以保留。

接着让 AI 说明每种处理的影响。比如删除重复会减少总人数，保留重复会影响客户数量，填 0 可能影响平均值。学员看到影响后，再做选择。

最后一定记录处理前后行数。原始 20 行，删除 2 行重复，处理后 18 行；付款状态空值 2 条，标记待确认。这个记录会进入后面的清洗规则记录表。

示范表达：

请帮我设计重复和空值处理步骤。

表格来源：
字段说明：
样例数据：
去重候选字段：
空值涉及字段：
后续用途：

请输出：
1. 需要先确认的问题
2. 去重依据建议
3. 空值处理选项
4. 处理步骤
5. 处理后检查方式
6. 需要记录的规则

最后收束：

“清洗数据，就是给事实洗脸。洗干净可以，别把脸洗没了。每一次删除和填补，都要有规则。”

屏幕演示流程

复制原始表为工作文件。
记录原始行数。
让 AI 根据字段说明提出去重依据。
标出重复行。
让 AI 提供空值处理选项。
人工确认处理规则。
记录处理后行数和规则。
让 AI 总结每个处理动作对统计的影响。
保存重复和空值处理卡。

给 AI 的协作卡

请帮我处理重复和空值，但先不要直接下结论。

表格来源：
字段说明：
样例数据：
后续用途：

请先帮我确认：
- 适合按哪些字段去重
- 哪些重复可能要保留
- 哪些字段空值影响统计
- 每类空值有哪些处理选项
- 处理后需要检查什么

重复和空值处理卡

原始文件：
工作文件：
原始行数：
去重依据：
重复行数量：
重复处理规则：
空值字段：
空值处理规则：
处理后行数：
规则确认人：
处理记录：

课堂练习

让学员处理一张表里的重复和空值。

要求：

先复制工作文件。
记录原始行数。
确认去重依据。
标出重复行和空值字段。
写出处理规则。
记录处理后行数。

常见卡点

直接删除重复：先标记，再确认依据。
把空值都填 0：不同字段分别制定规则。
忘记行数变化：处理前后都记录。
AI 建议太武断：让它列选项和风险。

课后作业

完成一张重复和空值处理卡。

提交内容：

原始行数和处理后行数。
去重依据。
空值处理规则。
处理记录。

课件页建议

第 1 页：重复和空值最常见也最危险
第 2 页：处理前先确认规则
第 3 页：先标记，再处理
第 4 页：清洗要留下记录
第 5 页：重复和空值处理卡