知识增量Knowledge Deltav0.1无限进步

异常值

Outlier
学到 会用 就够:能亲手用起来
你可能会说

“我调查的大多数农户只经营几亩地,却有一户填了几百亩,这条记录应该直接删掉吗?”

异常值是与其他记录相比显得特别不一样的观测。它可能填错了,也可能反映真实的少数情况,需要查明原因后再决定怎么处理。

先知道数据清洗
也叫离群值、离群观测
2

使用 AI

科研里的例子

假设一户填报经营面积 300 亩,而同村多数农户不足 10 亩。回查后发现它确实承租了多户土地,便保留该值并说明经营规模差异;若原卷实际填的是 30 亩,则按原卷更正。

一个数是否异常,要看它记录的对象、单位,以及在什么人群中比较。普通小农户中的大规模经营者,可能真实存在;亩与公顷混用,也可能制造一个看似离群的数。先用排序或图形定位可疑记录,再核对原始问卷及相关答案。能够确认错误时按证据更正;不能确认时,应保留疑点,比较保留该记录与采用其他合理处理时结果怎样变化。标记异常、确认错误和决定分析办法是不同步骤。某些统计检验对数据分布有要求,不能只套一个阈值,就认定超过范围的记录都没有研究价值。

+

在你的学科里,直接拿去用

把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明,再建议代码。
问题:[填写]
数据字典及已有规则:[提供]
可用软件与现有代码:[提供]
明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析;缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据,所有转换写到派生结果并留记录;不能为得到显著结果修改数据或筛选规则。
方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
3

判断

亲手检查一次

把一列数从大到小排列,挑出最前和最后各三条,逐条核对单位、原始记录及调查对象特点,写下保留或更正的依据。

它做不到的

异常值不等于错误值,也不等于没有答案的缺失值。把两端的数统一压到某个范围会改变数据,应说明理由和影响,不能把这种处理写成已经查明了填报错误。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。