数据清洗
Data cleaning
学到 会用 就够:能亲手用起来
你可能会说
“我拿到一份农户问卷表,里面有空格、重复记录和看着不对的收入,开始分析前该怎么整理?”
数据清洗是按事先说清的规则检查和处理数据中的问题,例如填错、重复、单位不一致或没有填的地方,让后面的分析有可靠的起点。
使用 AI
科研里的例子
假设农户问卷的收入列要求填元,其中一户填了 8.5,回查原问卷才发现该户按万元作答。确认单位后换算成 85000 元,并保留原值、换算理由和对应记录。
先弄清每行代表谁、每列记录什么,再检查取值范围、单位、重复情况和答案之间是否矛盾。发现问题后,应回看问卷或其他原始记录;能确认的错误按规则更正,暂时解释不了的先标记,不能凭感觉改成顺眼的数。原始文件应单独保留,每一步处理都记录原因、涉及的记录和前后变化,最好让同一套操作能够重新执行。整理完还要比较记录数和各列的分布,看看是否意外少了一批人。清洗规则应服务于测量和研究设计,不能随着结果是否显著而改变。
在你的学科里,直接拿去用
把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明,再建议代码。 问题:[填写] 数据字典及已有规则:[提供] 可用软件与现有代码:[提供] 明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析;缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据,所有转换写到派生结果并留记录;不能为得到显著结果修改数据或筛选规则。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
审计面板数据与合并规则
我提供[数据或样例]、[代码本]和[候选主键]。请先说明每行代表的主体与时间,检查键唯一性、重复记录、缺失码、数据类型、单位、取值范围和跨年可比性。对计划的[合并关系],先判断一对一、一对多或多对多是否符合业务含义,列出应保留的未匹配信息。对[变量构造]给出公式、适用样本和来源字段。输出审计表、疑点清单及可复查的代码草案,不覆盖原始数据,不默认把空值变为零,也不为了完整或显著而补造观测。没有实际执行代码时,明确区分预期检查与已得到的结果。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PE04
判断
亲手检查一次
抽查五条被修改或排除的记录,逐条对照原问卷、处理规则和处理日志,确认每一处变化都有依据;再核对处理前后的记录数。
它做不到的
清洗不能补出没有调查到的事实,也不能自动消除调查对象选得不合适带来的问题。看起来少见的数不一定填错,不能为了让结果好看而排除记录。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- U.S. Census Bureau — Statistical Quality Standard C2: Editing and Imputing Data2026-11-07 核对
- 北京大学中国家庭追踪调查(CFPS)— 数据使用手册(官方 PDF)链接失效,待更新
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。