去重
Deduplication
学到 会用 就够:能亲手用起来
你可能会说
“我整理的村级名录里有些名字重复,能不能按名字只留第一条?”
去重是先判断哪些记录在研究上代表同一条信息,再按有依据的规则处理重复。它需要先说清用哪些信息判定重复,以及哪一条应保留。
使用 AI
科研里的例子
假设农村研究整合两次导出的村级名录,同一村同一年的记录重复出现。团队核对原始编号和更新时间后,保留经确认的记录并记录重叠来源。
要区分整行完全相同、关键编号重复,以及名称相同但实际对象不同。一个人可能有多次访谈,同名村也可能位于不同县,这些不应仅凭名称删成一条。先定义表的观察单位和候选主键,再核对重复组中的时间、来源与其他答案。确为重复录入时,可以按原件、完整性或预先规定的优先级处理,并记录保留依据;答案冲突时则要回查来源。整理后检查记录数减少了多少、哪些对象受影响。让软件只留第一条只是执行动作,它不会替你判断第一条是不是正确版本。
在你的学科里,直接拿去用
把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明,再建议代码。 问题:[填写] 数据字典及已有规则:[提供] 可用软件与现有代码:[提供] 明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析;缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据,所有转换写到派生结果并留记录;不能为得到显著结果修改数据或筛选规则。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
审计面板数据与合并规则
我提供[数据或样例]、[代码本]和[候选主键]。请先说明每行代表的主体与时间,检查键唯一性、重复记录、缺失码、数据类型、单位、取值范围和跨年可比性。对计划的[合并关系],先判断一对一、一对多或多对多是否符合业务含义,列出应保留的未匹配信息。对[变量构造]给出公式、适用样本和来源字段。输出审计表、疑点清单及可复查的代码草案,不覆盖原始数据,不默认把空值变为零,也不为了完整或显著而补造观测。没有实际执行代码时,明确区分预期检查与已得到的结果。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PE04
判断
亲手检查一次
抽查三组被判重复的记录,说明它们为什么是同一对象同一次记录,以及保留哪条的依据。
它做不到的
去重不能靠名字相同就自动判定;也不能把同一对象不同年份的合法记录当成重复。不能为得到某个样本量而调整判重规则。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Wickham、Çetinkaya-Rundel、Grolemund — R for Data Science (2e): Data transformation2026-11-07 核对
- Wickham、Çetinkaya-Rundel、Grolemund — R for Data Science (2e): Joins2026-11-07 核对
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。