知识增量Knowledge Deltav0.1无限进步

合并与匹配

Data merging and matching
学到 会用 就够:能亲手用起来
你可能会说

“我想把县级政策表接到农户表上,为什么合并后人数突然变多了?”

这里的合并与匹配,是按能够对应的编号或条件,把两张表中属于同一对象的信息接到一起,例如给每个农户补上所在县的政策信息。

先知道主键
也叫表连接、数据连接
2

使用 AI

科研里的例子

假设农业研究把县年份政策表连接到农户年份表。先确认每个县年份的政策记录唯一,再检查农户记录是否因重复政策行而成倍增加。

先说明要把什么接到什么上,以及希望保留哪些对象,再选择连接方式。关键不是两列名字一样,而是编号、年份和统计口径确实对应。一个县有很多农户时,县表中相应县年份通常应只有一条;如果两边都有重复组合,连接可能把一条记录展开成多条。合并前检查键的类型、位数、前导零和行政区划变更,合并后记录成功、未匹配和意外重复的数量。还要抽查几条实际对应关系。模糊名称匹配只能给出候选,不能仅因文字相像就认定是同一个对象。

+

在你的学科里,直接拿去用

把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明,再建议代码。
问题:[填写]
数据字典及已有规则:[提供]
可用软件与现有代码:[提供]
明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析;缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据,所有转换写到派生结果并留记录;不能为得到显著结果修改数据或筛选规则。
方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
3

判断

亲手检查一次

核对两表的键是否符合预定的一对一或多对一关系,再列出未匹配记录并人工查五例。

它做不到的

本条的匹配是表记录对应,不是用来构造因果比较组的匹配估计。名称相同、结果行数接近,都不能证明连接正确。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。