怎么发现表格问题?
02-03 怎么发现表格问题?
Section titled “02-03 怎么发现表格问题?”这一课讲“怎么让表格里的问题先浮出水面”。
数据清洗前,要先发现问题。常见问题包括重复数据、空值、格式不统一、日期混乱、数字和文本混用、异常值、字段含义不清。AI 可以帮助列出检查方向,但学员要确认哪些问题需要处理、哪些问题只是正常业务现象。
这一课的成果是一张「表格问题排查卡」。
- 能识别常见表格问题。
- 能让 AI 根据字段说明提出检查方向。
- 能区分数据错误和正常异常。
- 能标出需要人工确认的问题。
- 能完成表格问题排查卡。
- 建议时长:25 到 35 分钟。
- 使用一张故意包含重复、空值和格式混乱的样例表。
- 重点展示发现问题,暂时不急着处理。
- 强调异常要先标出,再决定处理方式。
- 收尾让学员列出问题清单。
- 一张有问题的样例表。
- 字段说明表。
- 表格问题排查卡。
可以这样开场:
“清洗数据之前,先把问题找出来。就像看病先检查,再决定怎么治。重复、空值、格式混乱和异常值,处理方式都要先看见再决定。”
这一课要让学员克制住“立刻修”的冲动。发现问题和处理问题是两个阶段。先把问题列清楚,标出影响,再确认规则。直接删除或修改,可能把真实业务现象当成错误处理掉。
比如某个客户订单金额特别高,可能是数据录错,也可能是大客户真实成交;某个学生成绩为空,可能是缺考,也可能是成绩还没录入。异常先看见,原因再确认。
常见表格问题有七类。
第一,重复数据。
同一个客户、订单、学生、记录出现多次。
第二,空值。
必填字段为空,或者关键字段缺失。
第三,格式不统一。
日期有多种格式,手机号有空格,金额有单位,有些数字被当成文本。
第四,日期格式混乱。
同一列里出现“2026-06-05”“6月5日”“2026/6/5”等多种写法。
第五,数字和文本混用。
金额字段里出现“待定”“无”“-”,会影响统计。
第六,异常值。
特别大、特别小、明显不符合常识的数值。
第七,字段含义不清。
比如“状态”“类型”“有效”这类字段,没有说明就很容易统计错。
演示时可以让 AI 输出三种状态:确定问题、可能问题、需要人工确认。确定问题比如手机号列里出现明显字母;可能问题比如某个金额极高;需要人工确认比如状态字段里出现“待跟进”,不知道是否算有效。
还要让 AI 写“可能影响”。比如重复记录会影响总人数,空值会影响完成率,格式不统一会影响分类汇总,异常值会影响平均数。学员看到影响,才知道哪些问题要优先处理。
最后建立问题清单,不在本课直接清洗。问题清单会进入下一课的数据质量检查,也会进入后面的清洗规则记录。
示范表达:
请帮我根据字段说明检查这张表可能有哪些问题。
表格来源:字段说明:样例数据:我准备做的统计或报告:
请按以下类型检查:1. 重复数据2. 空值3. 格式不统一4. 日期混乱5. 数字和文本混用6. 异常值7. 字段含义不清
请区分:确定问题、可能问题、需要人工确认。最后收束:
“发现表格问题,是让事实先浮出水面。问题被看见,后面才谈得上清洗和统计。”
屏幕演示流程
Section titled “屏幕演示流程”- 打开样例表和字段说明。
- 让 AI 按七类问题做排查。
- 标出确定问题、可能问题和待确认问题。
- 人工判断哪些异常需要处理。
- 让 AI 写出每个问题可能影响什么统计。
- 建立问题清单。
- 保存表格问题排查卡。
给 AI 的协作卡
Section titled “给 AI 的协作卡”请帮我排查这张表的问题。
表格来源:字段说明:样例数据:后续用途:
请输出表格:- 问题类型- 涉及字段- 具体表现- 可能影响- 建议处理方式- 是否需要人工确认表格问题排查卡
Section titled “表格问题排查卡”- 表格来源:
- 后续用途:
- 重复问题:
- 空值问题:
- 格式问题:
- 日期问题:
- 数字文本混用:
- 异常值:
- 字段含义问题:
- 需要人工确认:
让学员对一张真实表格做问题排查。
要求:
- 按七类问题检查。
- 列出至少 5 个问题或风险。
- 标出确定、可能、待确认三种状态。
- 写出每个问题可能影响什么。
- 不在本课直接删除数据。
- 一发现异常就删除:先记录,再确认规则。
- 分不清异常和错误:看业务背景和字段含义。
- 只检查空值:同时看重复、格式和异常值。
- AI 判断太武断:要求区分确定、可能、待确认。
完成一张表格问题排查卡。
提交内容:
- 一张真实表格说明。
- 七类问题检查结果。
- 需要人工确认清单。
- 每个问题的可能影响。
- 第 1 页:先检查,再清洗
- 第 2 页:七类常见表格问题
- 第 3 页:确定、可能、待确认
- 第 4 页:异常先记录
- 第 5 页:表格问题排查卡