文本分块
Chunking
学到 能改 就够:能自己调整和排错
你可能会说
“我查到的论文片段只剩一句显著结论,前面的样本限制不见了;资料库把文章切成多大一块,会影响回答吗?”
分块把长文档切成便于索引和检索的小单元,可以按长度、段落或结构划分;切法会影响证据是否完整,也会影响检索和生成成本。
使用 AI
科研里的例子
把数据与方法章节按自然段切分,保留标题和页码;结果表连同变量说明、样本范围及表注作为可一起读取的内容。
块太小可能割裂定义、条件和表注,块太大又会让候选内容混杂、增加读取负担。可以设置重叠或按章节、表格和引文边界处理,但没有适合所有语料的固定尺寸。论文还需要保存页码、标题和上层章节,让检索片段有背景。分块前的 PDF 解析与 OCR 若有错误,后续检索很难仅靠调整块大小弥补。
在你的学科里,直接拿去用
从给定文献读取问题与证据
请只依据下面的文献材料回答。 材料:[粘贴原文或附文件;若只有摘要请注明] 我想弄清:[问题] 请列出作者要解释的现象、主要概念、数据与研究单位、研究设计、主要发现及作者写明的局限。区分作者原话、你的释义与尚无法判断的地方。每项给页码或可定位段落,保留关键术语的中文与英文。若没有全文,不把摘要之外的细节补出来。最后提出3个我可以回原文亲自检查的问题。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG02
从中文研究想法形成双语检索式
请把我的中文研究想法转成可测试的中英文检索策略。 想法:[填写] 对象、地区、时期:[填写] 数据库或检索渠道:[填写] 先拆概念块,再为每块给首选中文、首选英文、常用别名及需排除的歧义。给宽、中、窄3组检索式,并解释AND、OR、引号及数据库字段差异。用[我已知的一篇相关文献]作召回检查;没有已知文献则保留待测试。当前若无法访问数据库,只交策略,不声称已经检索或编造结果。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG03
判断
亲手检查一次
用需要上下文限制的问题比较几种切法,检查定义、否定和表注有没有分离,再根据错例调整而非只看相似度分数。
它做不到的
分块越细不一定越精确,重叠越多也不等于证据越全;同一段被重复切入可能让系统误以为出现了多份支持。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。