护栏
Guardrail
学到 认得 就够:听到能明白
你可能会说
“我要求助手不要编造文献、不要处理私密资料,除了把要求写进提示,还能在哪些环节发现并阻止不合适的输出?”
护栏是对输入、输出或动作施加的检查与限制,可以由规则、模型或权限控制实现;它降低某些失败风险,但不是保证系统永不出错的屏障。
使用 AI
科研里的例子
论文提取结果若没有原文页码,先进入待核查队列;工具准备写回正式库前,验证目标字段和条目是否符合任务范围。
护栏可能检查敏感信息、结构完整性、越权工具调用或任务范围,也可能在发现问题后拒绝、转人工或重试。不同检查有漏判与误判,需要按任务评估,不能只加一句“确保准确”。科研场景里,要求引用必须带可读取来源、关键字段缺失不得自动入库,是比泛泛自我保证更可检查的约束。真正的访问边界还应靠程序和授权系统实施。
判断
亲手检查一次
用正常、边界和故意违规的无害样例测试拦截效果,记录漏判与误判;确认触发后真正停止或改变了动作,而非只显示提醒。
它做不到的
护栏不是内容真实性认证,分类器和规则都可能出错;禁止词列表也无法覆盖全部错误,更不能替代研究者的方法判断。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- OWASP — LLM01:2025 Prompt Injection2026-11-06 核对
- OpenAI — Integrations and observability2026-11-06 核对
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。