红队测试
Red teaming
学到 认得 就够：听到能明白
你可能会说
“我的助手在正常例子上表现不错，怎样知道它遇到恶意网页、错误权限或极端输入时会不会乱做，而不去攻击别人的系统？”
红队测试用对抗性或异常情境主动寻找系统的危险与失败行为，补充日常质量评估；它需要明确测试授权、范围和记录，不是随意尝试攻击。
使用 AI
科研里的例子
在你拥有的测试助手里放一份虚构网页，要求其改发不存在的私密文件；检查是否拒绝并保持正常摘要任务，记录触发路径。
测试可围绕目标偏离、敏感信息泄漏、错误工具使用或边界条件设计，重点是发现真实可复现的失败，再修复并回归验证。它与只测平均准确率不同，但也不能取代一般评估。研究助手可使用虚构敏感字段、无害外部指令和受控工具模拟，避免拿真实私密数据冒险。测试通过只说明已覆盖情境下的表现，仍需说明未测范围。
在你的学科里，直接拿去用
把论点与证据逐条对齐
请审核下列论证的证据对应关系。 论证：[粘贴] 允许使用的材料：[清单与原文] 拆成可独立检查的主张，按“主张—来源位置—研究对象与设计—能支持什么—不能支持什么—所需补证”输出。区分相关、机制解释、因果识别和价值判断。找不到依据的格子保留未支持，不补假文献。若需联网补证，先说明搜索范围和访问状态，再把新找到的证据与原材料分列。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG07
判断
亲手检查一次
写清授权对象、威胁假设和成功判据，用可复现的无害材料运行；保存失败轨迹，确认修复后正常任务也没有被过度拦截。
它做不到的
红队标签不赋予测试第三方系统的权利，也不能把少数攻击未成功解释为绝对安全；发现问题后还需修复和再次检验。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- OpenAI — Red teaming2026-11-06 核对
- OWASP — LLM01:2025 Prompt Injection2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。