缺失值
Missing value
学到 会用 就够:能亲手用起来
你可能会说
“我整理的农户问卷里,有的收入格子留空,有的写了 999,能把它们都当成零吗?”
缺失值表示某个位置没有可用的观测答案。它可能是没问、没答或记录丢了,不能直接当成零,也不能把表示未回答的特殊编号当成实际数值。
使用 AI
科研里的例子
假设问卷把 999 约定为拒绝回答收入,而 0 表示确实没有该项收入。整理时把 999 转为缺失并保留拒答标记,0 仍保留为实际答案;没有养殖的农户跳过养殖收入题,也另记原因。
先分清为什么没有答案:问卷安排该受访者跳过这一题,与应该回答却拒答,含义不同。还要核对说明书中是否用空白、负数或特殊编号表示缺失,不能仅凭数的样子猜。整理时可以统一软件里的缺失表示,同时另留一列记录原因。处理之前,先统计哪些列、哪些人群缺得多,再决定如何分析。直接只用填全的人,可能改变所研究的人群;用平均数填满,也不会恢复每个人真实的情况。若采用估算办法,应记录依据、适用条件,并检查换一种合理处理后结论是否变化。
在你的学科里,直接拿去用
把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明,再建议代码。 问题:[填写] 数据字典及已有规则:[提供] 可用软件与现有代码:[提供] 明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析;缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据,所有转换写到派生结果并留记录;不能为得到显著结果修改数据或筛选规则。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
审计面板数据与合并规则
我提供[数据或样例]、[代码本]和[候选主键]。请先说明每行代表的主体与时间,检查键唯一性、重复记录、缺失码、数据类型、单位、取值范围和跨年可比性。对计划的[合并关系],先判断一对一、一对多或多对多是否符合业务含义,列出应保留的未匹配信息。对[变量构造]给出公式、适用样本和来源字段。输出审计表、疑点清单及可复查的代码草案,不覆盖原始数据,不默认把空值变为零,也不为了完整或显著而补造观测。没有实际执行代码时,明确区分预期检查与已得到的结果。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PE04
判断
亲手检查一次
找出一列的所有缺失表示,对照问卷和说明书逐一确认含义,再分别列出未适用、拒答和其他未回答的数量。
它做不到的
缺失不是一种统一原因,不能见空就补零;特殊编号必须以这份数据的说明为准。补出一个数也不等于找回真实答案,缺失比例小同样不能保证没有偏差。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Coordination Centre for Mixed Methods — NHS Adult Inpatient Survey 2020: Data cleaning instructions(UK Data Service 托管)2026-11-07 核对
- U.S. Census Bureau — Statistical Quality Standard C2: Editing and Imputing Data2026-11-07 核对
- 北京大学中国家庭追踪调查(CFPS)— 处理 CFPS 数据缺失值时需要注意的问题2026-11-08 核对
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。