异常值
Outlier
学到 会用 就够:能亲手用起来
你可能会说
“我调查的大多数农户只经营几亩地,却有一户填了几百亩,这条记录应该直接删掉吗?”
异常值是与其他记录相比显得特别不一样的观测。它可能填错了,也可能反映真实的少数情况,需要查明原因后再决定怎么处理。
使用 AI
科研里的例子
假设一户填报经营面积 300 亩,而同村多数农户不足 10 亩。回查后发现它确实承租了多户土地,便保留该值并说明经营规模差异;若原卷实际填的是 30 亩,则按原卷更正。
一个数是否异常,要看它记录的对象、单位,以及在什么人群中比较。普通小农户中的大规模经营者,可能真实存在;亩与公顷混用,也可能制造一个看似离群的数。先用排序或图形定位可疑记录,再核对原始问卷及相关答案。能够确认错误时按证据更正;不能确认时,应保留疑点,比较保留该记录与采用其他合理处理时结果怎样变化。标记异常、确认错误和决定分析办法是不同步骤。某些统计检验对数据分布有要求,不能只套一个阈值,就认定超过范围的记录都没有研究价值。
在你的学科里,直接拿去用
把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明,再建议代码。 问题:[填写] 数据字典及已有规则:[提供] 可用软件与现有代码:[提供] 明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析;缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据,所有转换写到派生结果并留记录;不能为得到显著结果修改数据或筛选规则。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
审计面板数据与合并规则
我提供[数据或样例]、[代码本]和[候选主键]。请先说明每行代表的主体与时间,检查键唯一性、重复记录、缺失码、数据类型、单位、取值范围和跨年可比性。对计划的[合并关系],先判断一对一、一对多或多对多是否符合业务含义,列出应保留的未匹配信息。对[变量构造]给出公式、适用样本和来源字段。输出审计表、疑点清单及可复查的代码草案,不覆盖原始数据,不默认把空值变为零,也不为了完整或显著而补造观测。没有实际执行代码时,明确区分预期检查与已得到的结果。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PE04
判断
亲手检查一次
把一列数从大到小排列,挑出最前和最后各三条,逐条核对单位、原始记录及调查对象特点,写下保留或更正的依据。
它做不到的
异常值不等于错误值,也不等于没有答案的缺失值。把两端的数统一压到某个范围会改变数据,应说明理由和影响,不能把这种处理写成已经查明了填报错误。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- NIST/SEMATECH e-Handbook of Statistical Methods — 1.3.5.17. Detection of Outliers2026-11-07 核对
- 国家统计局 — 什么是平均分析法2026-11-07 核对
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。