知识增量Knowledge Deltav0.1无限进步

护栏

Guardrail
学到 认得 就够:听到能明白
你可能会说

“我要求助手不要编造文献、不要处理私密资料,除了把要求写进提示,还能在哪些环节发现并阻止不合适的输出?”

护栏是对输入、输出或动作施加的检查与限制,可以由规则、模型或权限控制实现;它降低某些失败风险,但不是保证系统永不出错的屏障。

先知道智能体
也叫防护规则、行为约束
2

使用 AI

科研里的例子

论文提取结果若没有原文页码,先进入待核查队列;工具准备写回正式库前,验证目标字段和条目是否符合任务范围。

护栏可能检查敏感信息、结构完整性、越权工具调用或任务范围,也可能在发现问题后拒绝、转人工或重试。不同检查有漏判与误判,需要按任务评估,不能只加一句“确保准确”。科研场景里,要求引用必须带可读取来源、关键字段缺失不得自动入库,是比泛泛自我保证更可检查的约束。真正的访问边界还应靠程序和授权系统实施。

3

判断

亲手检查一次

用正常、边界和故意违规的无害样例测试拦截效果,记录漏判与误判;确认触发后真正停止或改变了动作,而非只显示提醒。

它做不到的

护栏不是内容真实性认证,分类器和规则都可能出错;禁止词列表也无法覆盖全部错误,更不能替代研究者的方法判断。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。