本文整理的是 AI 与网络安全结合方向的学习与实践入口，覆盖中国、欧美、俄罗斯三类生态。资料链接基于 2026-06-04 前后公开信息整理；正式引用或落地前，建议重新打开原始链接核对。
AI Security Resource Atlas
从 LLM 安全入门到企业 AI 安全治理
重点关注 Prompt Injection、RAG 数据污染、Agent 工具越权、模型供应链、AI 基础设施暴露和安全运营自动化。
一、先看主线
学习 AI 安全不要只盯着“越狱提示词”。更完整的路线应该是：
- 概念框架：AI 系统威胁建模、LLM / Agent 风险、MLSecOps。
- 应用安全：Prompt Injection、RAG 数据污染、Agent 工具越权、敏感数据泄露。
- AI 基础设施安全：Ollama、ComfyUI、vLLM、向量库、MCP Server、模型供应链。
- 防御落地：LLM-WAF、AI Gateway、Guardrails、日志审计、权限隔离。
- AI 赋能安全运营：告警研判、威胁情报摘要、检测规则生成、代码审计辅助。
二、地区生态对比
中国
特点：政策治理、政企合规、厂商方案和 AI 基础设施扫描发展快。
重点：大模型安全评估、MCP / Agent 安全、LLM-WAF、数据分类分级。
风险：组件暴露、默认配置、数据泄露、出入口合规、越权工具调用。
欧美
特点：开放框架、标准文档、开源工具和红队方法论最完整。
重点：LLM 红队、RAG 安全、Agentic AI、模型供应链、AI 风险管理。
风险：提示词注入、数据投毒、模型提取、跨租户泄露、供应链风险。
俄罗斯
特点：Kaspersky、Sber、Positive Technologies、Habr 等厂商和社区资料较集中。
重点：AI 防御、LLM 安全培训、威胁模型、企业安全实践。
风险：资料入口分散，商业培训偏多，部分文档需要二次核验。
三、中国资源
官方、治理与报告
- 《人工智能安全治理框架》1.0 - 中央网信办
- 《人工智能安全治理框架》2.0 PDF
- 中国信通院：人工智能风险治理报告 PDF
- 国家互联网应急中心 CNCERT：关注“大模型安全众测”“AI 组件漏洞通报”等。
平台与工具
- FlagSafe 大模型安全平台：偏大模型安全评估、红队 / 蓝队、防护与可解释。
- Tencent AI-Infra-Guard：腾讯朱雀实验室开源 AI 红队与 AI 基础设施扫描平台，覆盖 MCP、Agent Skills、AI Infra、越狱评估等。
- 腾讯云 LLM-WAF：了解企业级 LLM 网关、防护、限流和审计设计。
- 腾讯云 AI Agent 安全网关：适合参考 Agent 工具调用安全网关思路。
- 奇安信大模型卫士、QAX-GPT 安全机器人：偏企业产品和安全运营。
教程、文章与视频
- AI Security Guide 中文版：OWASP LLM Top 10 解析
- 腾讯云大模型安全方案文章
- FlagSafe 发布介绍
- FreeBuf、安全客、看雪、先知社区：关键词建议
AI安全、大模型安全、LLM安全、MCP安全、Agent安全。 - B站可搜：
大模型安全 OWASP LLM Top10、AI-Infra-Guard、PyRIT AI 红队、大模型安全 智源 FlagSafe。
四、欧美资源
框架与文档
- OWASP GenAI Security Project：LLM Top 10、Agentic Security、工具、白皮书和视频的主入口。
- OWASP Top 10 for LLM Applications
- MITRE ATLAS：AI / ML 对抗技术矩阵，适合威胁建模和红队映射。
- NIST AI RMF：AI 风险管理框架。
- NIST Adversarial Machine Learning Taxonomy：对抗机器学习攻击与缓解术语体系。
- CISA / NCSC Secure AI System Development
- CISA Deploying AI Systems Securely
- ENISA Artificial Intelligence Cybersecurity Challenges
- ENISA Multilayer Framework for Good Cybersecurity Practices for AI
- Google Secure AI Framework / SAIF
- Coalition for Secure AI / CoSAI
开源工具
| 工具 | 用途 | 适合阶段 |
|---|---|---|
| Microsoft PyRIT | 生成式 AI 风险识别和自动化红队编排 | 红队评估、持续测试 |
| NVIDIA garak | LLM 漏洞、安全和鲁棒性探测 | 模型 / 应用上线前测试 |
| Promptfoo Red Team | LLM、RAG、Agent 红队测试，可接入 CI | 开发、回归、发布门禁 |
| Protect AI LLM Guard | LLM 输入输出扫描 | 应用防护、网关前置 |
| Protect AI ModelScan | 模型序列化安全扫描 | 模型供应链、模型导入 |
| NVIDIA NeMo Guardrails | 为 LLM 应用添加可编程护栏 | 应用设计、运行时控制 |
| Guardrails AI | 输出校验、结构化约束和运行时护栏 | 应用层防护 |
视频与课程
- OWASP GenAI Learning Archive
- Microsoft Build / BlueHat：关键词
How Microsoft Approaches AI Red Teaming PyRIT - Black Hat / DEF CON / RSA：关键词
LLM security red teaming、AI supply chain security、agentic AI security
五、俄罗斯 / 俄语生态资源
公开资料相对分散，偏 Kaspersky、Sber、Positive Technologies、Yandex Cloud、Habr。开源工具不如欧美多，很多是商业产品、培训或文章。
课程与报告
- Kaspersky Large Language Models Security：付费课程，覆盖 LLM 攻击、防御和安全框架。
- Kaspersky：AI under Attack - How to Secure Machine Learning
- Sber AI 威胁模型：公开入口不稳定，可从 Habr 介绍 或 Банковское обозрение 追踪。
文章与教程
- Habr：AI-security развивается…
- Habr：MLSecOps защита машинного обучения
- Positive Technologies：Искусственный интеллект в киберзащите
- Yandex Cloud：LLM 在网络安全中的应用
- Habr：LLM agents in cybersecurity
视频检索关键词
безопасность LLMAI security кибербезопасностьMLSecOpsИИ в киберзащитеKaspersky LLM security
六、推荐学习顺序
Linux、Python、HTTP、Web 安全、身份认证、日志和基础攻防。
Transformer、RAG、Agent、向量数据库、模型推理、微调和评测。
OWASP GenAI、MITRE ATLAS、NIST AI RMF、CISA、ENISA。
Prompt Injection、越狱、RAG 污染、模型提取、Agent 工具越权。
LLM 网关、AI-BOM、日志审计、权限隔离、持续评估和合规文档。
七、落地建议
- 列出 AI 资产：模型、RAG、向量库、MCP、Agent、API Key、日志。
- 做威胁建模：用 OWASP 与 MITRE ATLAS 明确攻击面和业务影响。
- 建立红队基线：用 PyRIT、garak、Promptfoo 保存可复现评估报告。
- 检查基础设施：用 AI-Infra-Guard 排查 AI 组件和 MCP / Agent 生态暴露面。
- 在模型外做控制：权限隔离、DLP、审批、审计、速率限制和回滚机制。
八、容易误判的点
- Prompt 过滤不是完整防线，工具权限和数据访问控制更关键。
- 红队扫描结果不是合规结论，需要结合业务、日志和人工复核。
- Agent 能调用真实工具时，风险从聊天安全变成系统权限安全。
- 社区文章可能过期或带厂商立场，关键事实要回到官方文档验证。
所有测试应在授权环境、靶场或自有系统中进行。本文只做资料索引和工程化学习路线整理，不提供未授权攻击步骤。
