【学习笔记】主流 AI 安全防护框架研究报告

关键发现 1：

框架已从"单一清单"走向"分层组合"

没有任何单一框架能覆盖治理、技术控制、威胁对抗与合规全部维度。成熟组织普遍采用NIST AI RMF（治理）+ISO 42001（管理体系）+OWASP LLM Top 10（应用层风险）+MITRE ATLAS（红队/威胁）的组合范式。

关键发现 2：

2025 年风险版图被 Agent 与 RAG 重写

OWASP LLM Top 102025 版相对 2023 版重构：新增系统提示泄露、向量/嵌入弱点，将"过度代理(Excessive Agency)"提前，并以无界资源消耗取代"模型窃取"，直接呼应 Agent 与多模型部署的安全现实。

关键发现 3：

合规时钟已经开始走动

EU AI Act 自2025-02起分阶段生效，GPAI 义务已于 2025-08 落地，高风险与既有模型全面合规期限延伸至2027-08。所有受监管行业（制造、医疗、政务、能源等）须把"合规即控制"前置到架构设计阶段。

核心结论：AI 安全不是"再买一套安全产品"，而是建立"治理—风险—控制—对抗—合规"五位一体的工程化能力。本报告第 7 章给出的分层参考架构与第 11 章的四阶段路线图，可作为各类组织从 0 到 1 建设的通用基线模板。

纳入标准

权威机构发布、具备可执行指引、有真实落地案例或被监管引用。

时间范围

覆盖 2023–2026 已发布版本，重点纳入 2025–2026 更新。

视角

以建设方/运营方（ defend ）为主，兼顾监管方与红队方视角。

行业适配

面向全行业通用；互联网、医疗、政务、制造、零售、教育等均适用，按风险等级取用。

监管合规

定义"必须做"，具法律约束力，强制风险分级与评估。

风险管理

提供"如何想"，结构化识别、度量与处置 AI 风险。

安全设计

给出"如何建"，将安全控制嵌入 AI 工程链路。

威胁对抗

模拟"如何攻"，以攻击者视角暴露系统与战术。

负责任/可信

锚定"为何做"，以公平、透明、隐私等价值底线。

落地要点：AI RMF 不直接给控制项，而是给"思考框架"。建议将其与 ISO 42001 的条款结构对齐——Govern≈条款 5（领导）/4（环境），Map/Measure/Manage≈条款 6–10（策划/支持/运行/评价/改进），形成"战略+执行"的治理闭环。

2023 → 2025 关键变化：① 敏感信息泄露由第 6 升至第 2；② 过度代理由第 8 升至第 6 并成为 Agent 头号风险；③ 移除"模型拒绝服务/插件设计/模型窃取"单独条目，转化为"无界资源消耗"与"系统提示泄露/向量弱点"等新形态；④ 明确覆盖多模型与 Agentic 部署。

红队用法：将 ATLAS 技术映射到检测规则。例如AML.T0051 提示注入→ 在输入网关部署注入特征检测；AML.T0020 投毒训练数据→ 对训练集做来源与统计异常校验；AML.T0048 从 RAG 收集→ 限制检索范围并监控外泄。42 个真实案例（如 iProov 深度伪造、SesameOp 后门）可直接用于 Purple Team 演练。

要素 1

扩展安全基础到 AI 生态

将既有安全基础设施（身份、密钥、网络隔离）覆盖到训练/推理/数据链路。

要素 2

将检测响应延伸至 AI

把 AI 系统纳入组织威胁宇宙，统一 SIEM/SOC 检测与事件响应。

要素 3

自动化防御

以自动化跟上已知与新生威胁，包括对抗性训练与红队自动化。

要素 4

平台级控制统一

在平台层而非逐应用实现一致安全，降低碎片化。

要素 5

自适应控制

根据反馈快速调整缓解措施，形成部署闭环。

要素 6

业务情境化风险

将 AI 系统风险置于 surrounding 业务流程中评估，而非孤立看模型。

风险地图（Risk Map）：SAIF 以"数据源 → 训练管线 → 模型/服务"三段式识别 15 项重点风险，例如数据源投毒、训练管线权限滥用、推理端点提示注入、模型抽取等。其落地抓手是"以基础设施安全承载 AI 安全"，对已有成熟安全中台的大型机构尤为友好。

图 5 EU AI Act 四级风险金字塔

合规时间线（关键节点）

2025-02-02禁止性实践 + AI 素养义务生效社会评分、操纵性 AI 等被禁；供应商须履行 AI 素养培训。

2025-08-02通用目的 AI（GPAI）义务生效第 51–56 条 GPAI 模型义务、AI 办公室与成员国主管机关开始运作。

2026-08-02高风险系统主要义务生效多数高风险 AI 系统的合规、评估、登记与监督义务落地（含过渡期安排）。

2027-08-02既有模型全面合规2025 年前投放市场的 GPAI/高风险系统的完全合规期限。

对各类组织的含义：招聘筛选、医疗诊断辅助、关键基础设施调度、内容审核、教育评测等被明确列为高风险场景，须满足风险管理、数据治理、技术文档、人类监督、可追溯与事件通报等义务。EU AI Act 与 ISO 42001 / NIST AI RMF 高度互补——可用后者作为前者的"合格评定"证据基础。无论是否受欧盟管辖，其高强度要求都可作为全球 AI 治理的对标上限。

框架

发布方

定位

关键产出

Microsoft Responsible AI Standard

Microsoft

负责任 AI 原则工程化

6 原则（公平/可靠安全/隐私安全/包容/透明/可问责）+ Impact Assessment 工具

NIST Generative AI Profile (AI 600-1)

NIST

GenAI 风险映射

将幻觉、越狱、数据污染等 GenAI 风险逐条映射到 AI RMF 四职能

CSA AI Security / Top Threats

云安全联盟

云上 AI 威胁 taxonomy

AI 威胁分类、Securing AI 报告、AI 供应链安全指引

Singapore Model AI Governance Framework

IMDA/PDPC

治理框架+测试工具

第二版(2020)：内部治理/风险管理/用户交互原则 + AI Verify 测试框架

UK AISI / Frontier AI Safety

英国 AI 安全研究所

前沿模型安全评估

Inspect 评估平台、模型能力/危险红队评估方法学

NSA/CISA 安全部署 AI 指南

美国家安全局等

采购与部署基线

《Deploying AI Systems Securely》——提供方/使用方双向安全检查清单

图 6 主流框架六维能力雷达（1–5 分，取向性评估）

如何读这张图

·NIST AI RMF治理/伦理维度饱满，但技术控制与威胁建模偏薄——它是"大脑"不是"手脚"。

·OWASP LLM技术控制与操作性极强，但治理与合规覆盖弱——它是"攻击面清单"。

·MITRE ATLAS威胁建模拉满，治理/伦理几乎为零——它是"红队地图"。

·ISO 42001治理+合规双高，且可认证——它是"体系底座"。

·Google SAIF技术控制与操作性均衡——它是"工程抓手"。

结论：没有任何单点能覆盖全部维度。

推荐基线组合 =ISO 42001（体系）+ NIST AI RMF（治理方法论）+ OWASP LLM（应用风险）+ MITRE ATLAS（红队）。

维度

NIST AI RMF

OWASP LLM 2025

MITRE ATLAS

ISO/IEC 42001

Google SAIF

EU AI Act

发布方性质

政府标准院

开源社区

政府/国防实验室

国际标准化组织

科技企业

立法机构

框架类型

风险管理

风险清单

威胁知识库

管理体系

工程控制

法规

治理成熟度

高

低

低

高

中

高

技术控制深度

中

高

高

中

高

低

威胁建模能力

低

中

高

低

中

低

合规可映射性

中

低

低

高

中

高

可认证

否

否

否

是

否

法定

开发侧友好

中

高

中

中

高

低

行业落地价值

治理蓝图

应用防护

红队验证

认证合规

工程落地

强制合规

设计原则：①纵深防御——任一层失效不导致全局失守；②安全左移——治理与数据控制前置到训练前；③最小权限——Agent 工具调用必须受约束；④可观测——所有层输出统一接入检测响应层；⑤合规嵌入——将 EU AI Act / 42001 要求映射为具体控制项而非事后整改。

OWASP 2025 风险

对应 ATLAS 技术

推荐控制（对应架构层）

LLM01 提示注入

AML.T0051 提示注入（直接/间接）

指令/数据上下文隔离、结构化输出(③④层)

LLM02 敏感信息泄露

AML.T0048 从 RAG 收集；AML.T0091 泄露

输出过滤器、PII 脱敏、检索范围限制(③④层)

LLM03 供应链漏洞

AML.T0018 获取/构造恶意 ML 模型

SBOM、模型签名校验、第三方评测(②⑤层)

LLM04 数据/模型投毒

AML.T0020 投毒训练数据；AML.T0046 后门

数据出处追踪、统计异常检测(②层)

LLM06 过度代理

AML.T0054 访问 AI 代理配置；AML.T0086 执行

最小权限工具矩阵、人审确认、限流(④层)

LLM08 向量/嵌入弱点

AML.T0048 从 AI 服务收集；AML.T0049 检索操纵

RAG 文档消毒、检索访问控制(②③层)

LLM10 无界资源消耗

AML.T0040 模型拒绝服务；推理 API 滥用

token 预算、超时、成本告警(③层)

闭环建议：每季度基于 ATLAS 案例库做一次 Purple Team 演练，将发现回填至 OWASP 风险登记册，并同步更新 42001 的风险评估与 EU AI Act 的事件通报流程。威胁建模不是一次性活动，而是与架构演进同步的"活文档"。

行业

典型 AI 应用

首要安全风险

重点适用框架

企业生产力

智能办公、代码助手、企业知识库问答

提示注入致数据泄露、过度代理误操作系统、代码生成含漏洞

OWASP LLM01/06 · Google SAIF · MITRE ATLAS

医疗健康

诊断辅助、影像识别、病历摘要

幻觉致误诊、PHI 隐私泄露、偏见致漏诊

OWASP LLM09/02 · EU 高风险 · NIST Measure

政务与公共服务

审批辅助、智能问答、舆情分析<o:page>

算法歧视、深度伪造、数据滥用

EU 高风险 · ISO 38507 · OWASP LLM09

制造与能源

质检视觉、调度预测、运维 Agent

对抗样本致误判、OT/ICS 安全、Agent 误控设备

MITRE ATLAS · Google SAIF · ISO 5338

零售与电商

推荐、客服、营销内容生成

提示注入、品牌误导、成本滥用

OWASP LLM01/10 · Google SAIF

教育

智能辅导、自动阅卷、招生筛选

成绩/录取偏差、未成年数据隐私

OWASP LLM09/02 · 隐私增强技术

① 治理与合规（满足监管预期）

·以ISO 42001建立 AI 管理体系，与既有 ISO 27001 合并审核，降低合规成本。

·以NIST AI RMF的 Govern/Map 明确 AI 资产台账与风险偏好。

·对高风险场景（医疗诊断、审批、调度、内容审核等）按EU AI Act 高风险逻辑做影响评估与人工监督（即使非欧盟机构，亦可借鉴其高强度要求）。

·对齐所在行业的监管要求（医疗、政务、制造等），将治理要求固化为制度与审批流。

② 应用与模型防护（抵御攻击）

·对面向用户的 Agent / RAG 系统重点防护OWASP LLM01/06/07：提示注入、过度代理、系统提示泄露。

·对知识库（制度/产品/病历文档）落实LLM08文档消毒与检索鉴权。

·推理端点配置LLM10限流与成本预算，防止提示膨胀型 DoS。

·用MITRE ATLAS对关键模型做对抗样本与投毒红队（如质检视觉、内容审核模型）。

③ 数据与隐私（守住底线）

·训练/微调数据落实出处追踪与投毒检测（对应LLM04）。

·个人与敏感信息（PII/PHI）在提示与检索中强制脱敏（对应LLM02）。

·采用隐私增强技术（联邦学习、差分隐私）满足数据保护法规要求。

④ 监测与应急（持续可信）

·将 AI 威胁信号接入既有 SOC，按SAIF 要素2统一检测响应。

·建立 AI 事件通报流程，对齐EU AI Act与所在行业监管报送要求。

·对生成内容做幻觉率/越狱率持续度量（NIST Measure）。

跨行业风险提醒：

① 企业生产力——代码助手泄露内部代码、知识库 Agent 过度代理误删数据；

② 医疗——诊断助手幻觉致误诊、PHI 泄露；

③ 制造——对抗样本致质检/调度误判、运维 Agent 误控设备；

④ 政务——算法歧视与深度伪造滥用。凡涉及"人、财、物、命"的高影响决策，必须将"人审确认"与"最小权限"作为强制控制，不可依赖模型自我约束。

Level 1 被动

Ad-hoc 临时应对

无专门治理；安全靠个人经验；AI 上线无安全评审；出现事故才响应。

Level 2 定义

Defined 制度建立

建立 AI 资产台账；采用 OWASP LLM 做上线前检查；有基础提示注入防护。

Level 3 量化

Measured 度量驱动

落地 42001/AI RMF；红队常态化；幻觉/越狱率纳入度量；事件可溯源。

Level 4 优化

Optimizing 自适应

安全能力平台化、自动化；ATLAS 联动 SOC；合规嵌入 CI/CD；持续对抗演进。

阶段

时间

目标

主导框架

关键交付物

阶段一 · 立基

0–2 月

摸清家底、明确责任

ISO 42001 / NIST Govern

AI 资产台账、AI 伦理委员会、政策制度 v1

阶段二 · 防护

2–5 月

堵住应用层高危风险

OWASP LLM 2025 / SAIF

提示注入防护、输出校验、限流、RAG 消毒、Agent 最小权限

阶段三 · 验证

5–9 月

红队验证与体系化

MITRE ATLAS / AI RMF

红队报告、度量看板、42001 内审、风险评估文档

阶段四 · 合规

9–12 月

认证与持续运营

ISO 42001 认证 / EU AI Act

外审认证、合规映射、事件通报流程、年度复审

节奏建议：阶段一、二可并行启动，避免"先治理后安全"导致线上风险暴露；阶段三的度量数据应回流支撑阶段四的认证证据。对于已具备 ISO 27001 基础的机构，阶段四可显著提速。

关键挑战

·标准碎片化：多框架术语不一，企业"拼图"成本高，需建立内部映射字典。

·度量难题：AI 安全缺乏如"漏洞数"的通用指标，幻觉率/鲁棒性度量尚未标准化。

·Agent 新面：自主智能体的权限与工具调用使传统"边界"失效，过度代理成头号难题。

·供应链黑箱：第三方模型/数据集不可见，SBOM 与模型出处仍不成熟。

演进趋势

·合规驱动收敛：EU AI Act 与各国立法将倒逼框架"互认"，42001 有望成国际通用底座。

·红队常态化：ATLAS + 自动化红队工具将成为安全运营标配。

·安全左移到训练：从"推理防护"前移到"数据/训练安全"。

·AI 守护 AI：用模型监测模型行为，异常检测走向自适应。

一句话总结：用 ISO 42001 立体系，用 NIST AI RMF 想清楚，用 OWASP LLM 防住面，用 MITRE ATLAS 攻验真，用 EU AI Act 兜底线——五位一体，方能在跨行业 AI 落地中行稳致远。