异质性分析
Heterogeneity analysis
学到 会用 就够：能亲手用起来
你可能会说
“我发现培训对两类人似乎不同，能不能一组显著、另一组不显著就说两组差异成立？”
异质性分析研究某种关系或效果是否因人群、地区、时间或条件不同而变化。它关注的是差异本身，需要直接比较差异并说明分组理由。
使用 AI
科研里的例子
假设经济学研究比较高低教育组的培训效果，在预先说明的机制下估计组间差异，同时报告每组样本量和差异区间。
分组应来自研究问题和机制解释，最好在查看结果前明确，而不是不断切样本直到出现想要的区别。分析时要确认各组使用相同的测量、可比的样本规则和适用的估计办法，并报告组内人数和不确定性。若要声称两组效果不同，应直接检验或估计两组之差，不能仅凭一组显著、另一组未显著来判断。小组样本少时，区间可能很宽；大量分组也会增加偶然发现。若主要分析本来只能说明关联，分组后仍只能讨论关联差异，不能因故事更具体就升级成因果机制。
在你的学科里，直接拿去用
提前制定异质性与稳健性分析计划
我准备研究[问题]，主设计为[设计]。请依据[理论预期和数据说明]拟一份事前分析计划草案：限定主要结果与次要结果、少量有理论依据的分组、组间差异检验、涉及多重比较时的处理思路，以及有理由的替代定义和样本规则。说明各项是否仍估计同一目标效应；可能改变人群或问题的另列。把事前假设与将来可能进行的探索分析分开，所有规格均保留报告。输出计划表和所需信息；没有效能计算所需输入时不编样本量，也不承诺任何分组一定显著。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PE06
审查跨群体评价与教育公平主张
我想比较[群体 A、B]的[分数或学习机会]，材料包括[题项、评分规则、结果和验证证据]。请先明确研究的是机会、过程还是结果公平；检查语言理解、内容接触、施测条件、评分和样本选择是否可能影响比较。将实际已有的测量可比性证据与缺口分开，不凭平均分差直接诊断能力或制度原因。输出比较前检查表、可做与暂不能做的解释，以及中英文审慎表述。需要额外分析时写所需数据和步骤，不捏造测量不变性结果或把同一试卷当作自动公平。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PJ06
判断
亲手检查一次
找到文中声称组间不同的一处，核对是否给出了两组差值及其不确定性，而不只是分别列出两个 p 值。
它做不到的
分组结果不能自动证明机制，也不能只比较星号。不同组的样本选择或测量口径不同，可能制造表面的异质性。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Scott Cunningham — Causal Inference: The Remix, Unconfoundedness2026-11-07 核对
- American Statistical Association — Statement on Statistical Significance and P-Values（官方发布说明）2026-11-07 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。