新闻中心

ChatGPT自然语言处理模型带动下游应用百花齐放，AI技术突破对安全产业同样带来变革，包括产品检测效率的提升、赋能安全运营降本增效；同时安全问题随之出现，对数据、模型的保护，对AIGC的鉴伪等均对安全产品、技术提出了新需求。本篇报告我们主要梳理了海内外云厂商、安全厂商如何依托AI技术赋能安全产品，以及对数据、模型安全保护的思考。

摘要

大模型作为新型数字基础设施，安全保驾护航。海内外云厂商对于云基础设施从IDC机房、硬件服务器、虚拟机，到云上应用、数据都进行了全方位的深度安全保护。推演至大模型，作为与云同等的新型数字基础设施，同样需要安全防护。从模型训练所需的数据、模型本身、AIGC的鉴伪，对安全产品、技术、形态、应用场景、商业模式都提出新的需求，也为安全行业带来新增量市场。同时，AI的突破使得攻击手段更为多样复杂，安全厂商也需要提升创新水平、攻防能力，来面对AI新纪元下的安全挑战。

大模型及AIGC内容监管，海内外厂商提出新策略。OpenAI推出ChatGPT后，对安全的投入也持续加强，包括招募专家进行对抗性测试、对预训练数据筛选过滤、微调模型优化输出结果、持续监控模型滥用等，从策略层面保障模型安全问题。国内从政策层面对AIGC进行相应监管，对模型的安全评估审查、生成式内容标识、用户数据保护等提出了多项要求。国内厂商也对AIGC内容监管、鉴伪布局相应产品。我们认为，随着大模型的落地、AIGC的应用丰富，生成式内容监管的要求和产品需求有望提升。

依托AI技术，提升安全产品检测能力与运营效率。微软将安全与GPT融合发布Security Copilot，依托强大的威胁情报能力通过关联内容发现潜在攻击信号，加强安全检测能力，同时以自然语言形式交互，提升安全运营人员体验的同时降本增效；其他海外安全头部厂商将AI能力嵌入核心产品，例如Palo Alto Networks、Fortinet基于AI赋能防火墙，CrowdStrike、Zscaler以AI加强云安全，并实现以AI能力作为单独组件或集成至平台收费。国内厂商如深信服基于大模型算法+海量安全数据+威胁情报+安全知识训练出安全GPT模型，对标Security Copilot，公司预计下半年将安全GPT接入全线安全产品，提升整体竞争力。

风险

政策落地不及预期，技术发展不及预期，下游需求不及预期。

正文

AI安全的两大维度：AI赋能安全，安全保护模型

OpenAI推出的ChatGPT自然语言处理模型兴起，切换至安全视角，AI的发展是生产力的变革，赋能安全产品和服务提质增效；同时，AI引发的安全问题，需要厂商从数据、模型等维度出发，依托相应的安全技术为AI保驾护航。

本篇报告我们梳理了中美主要云及安全厂商如何依托AI提升安全能力、降本增效。同时，我们看到美国云厂商在保护云基础设施时，基于各类安全手段提升防护效果。延伸至大模型领域，大模型作为与云等同的数字基础设施，为各类业务提升效率的同时，也同样需要安全产品、安全技术对其进行保护。同时，由于大模型在不断迭代更新，相应的攻击手段在变化，对安全防护技术也提出了更高的要求，产品力演进的过程中也将推动产业格局向优秀公司集中。

AI赋能安全产品，助力安全厂商提质增效

AI技术依托强大的算法和模型支撑，可以提升复杂的安全数据分析能力、自适应防护能力及辅助安全运维的工作，目前在态势感知、威胁情报、安全运维、异常检测、流量识别等方面应用。例如，深度神经网络可以无需手动特征提取，直接训练原始数据，确定数据间的非线性相关性，借助泛化能力完成对新文件类型或者未知攻击的检测，在防止APT攻击方面进展明显，提升威胁检测的效率和准确性。我们认为，安全知识复杂深奥，通常需要专业的安全人员对攻击进行研判，AI作为生产力提升的重要工具，可以助力安全人员提升工作效率，降低运营成本和门槛。

AI赋能安全产品的案例

► 恶意流量识别

Webshell作为命令执行环境，通常以PHP、JSP等网页文件形式呈现。攻击者可以利用网站漏洞，把Webshell后门文件传输到服务器，由于此时后门文件和正常网页文件混合在一起，攻击者可以通过访问浏览器控制和窃取网站数据。传统对于恶意流量识别的方法是对报文中的特殊字符串匹配。但攻击者仍可以混淆代码绕过匹配，并且由于Webshell种类多，需要较高的人工分析成本。

为优化恶意识别问题，安全厂商依托AI算法提升效率。例如可以基于决策树算法的智能检测及规则自动化提取防范，自动分析Webshell的样本和采集通信流量，通过报文特征构建决策树，提升检测的准确性，同时可以通过模型实现自动提取检测。

图表1：Webshell智能检测与规则自动化提取技术

资料来源：《人工智能赋能安全应用案例集（AI in Security）》（GSMA，2021年2月22日），中金公司研究部

► 智能安全运维

传统的安全运维方式存在告警过多、处置时间长、需要有经验的人员人工研判等问题。在安全运维领域，AI可以赋能事件分析研判、可视化编排等技术，和专家经验有机结合，提升威胁的判断准确率、运营效能。

图表2：绿盟科技智能安全运维AIOps

资料来源：《人工智能赋能安全应用案例集（AI in Security）》（GSMA，2021年2月22日），中金公司研究部

AI对安全厂商的加持：核心围绕降本、增效

提质增效：当前AI赋能安全产品的主要作用体现为攻击响应、威胁检测和漏洞挖掘，核心是效率的提升和智能化的应用，可以减轻人工成本和提升防护能力。在安全专业人员缺口持续存在的环境之下，AI赋能安全缓解了人员缺口问题，助力安全厂商降低人力成本、提质增效。

安全模型演进：长期视角，为提升研发效率，我们认为，安全厂商有望训练符合自身需求的安全模型。一般会基于情报分析、报警日志分析等多个细分场景小模型出发，训练较为通用的安全大模型，大模型和小模型之间相互迭代优化，用小模型迭代和打标签提升大模型的性能，或者从稍微大的场景出发建立中等模型，然后迁移到小型场景领域；由于安全模型属于垂直细分行业的模型，模型的壁垒较高，其训练数据来自安全厂商多年积累的、有价值的安全数据资产。安全厂商有望基于安全模型，提供Model-as-a-Service，变现的同时优化商业模式。

数据和模型安全是AI持续发展的基础

ChatGpt带来生产力的变革，同时也催生出相应的安全问题。2023年3月20日，ChatGPT发生数据泄露事故；2023年3月31日意大利禁用ChatGPT并提出其缺乏收集及存储个人信息的法律依据等多项指控。

技术维度，借助机器学习，僵尸攻击者可以重复进行攻击任务并自我更新。作为大语言模型的GPT-4能够快速生成钓鱼邮件、编写恶意软件与代码等，降低网络安全攻击的门槛，大模型本身也是重点的受攻击对象，需要安全产品保障系统正常运转，带来新的安全需求空间。因此，我们认为数据、模型的安全使用成为了AI持续发展的基础。

► 数据维度：保护原始数据防泄漏

作为AI发展的三大要素之一，数据是AI模型训练、优化的基础。数据是AI重要的输入，但对于输入数据的安全性也需要保护。我们认为，首先需要对数据的使用权、所有权、运营权进行确权，使用数据时仍需对于敏感数据进行隐私保护，实现在充分挖掘数据使用价值的同时保障数据安全。因此，对数据安全的技术发展、应用场景都提出更高要求。

► 模型维度：保护大模型基础设施

大模型作为与云等同的数字基础设施，需要安全保驾护航。国内外云厂商对安全重视的意识成熟，从对IDC的边界安全保护、云上虚拟机防护、抗DDoS、到对云上数据保护，安全为云上业务、数据流转奠定基石。延伸至大模型，对安全的投入需要进一步加强，在和云同等的边界、业务、数据保护以外，还需要对AI生成的文字、图片等进行鉴伪。我们认为，大模型更新迭代，对安全的要求持续提升，相较于传统安全产品，AI安全产品从技术、应用场景都有差异，对安全厂商创新能力也提出更高要求。

AI鉴伪技术应运而生。AI生成式技术快速发展，随着AI生成的文字、图片增加，我们需要准确判断哪些样本是AI生成，从而避免违法事件的发生。以基于生成对抗网络的机器人深伪（Deep Fake）为例，其利用机器学习的现有数据采样生成虚假的文本、图像、视频，达到欺骗效果。对于司法鉴定、公安等部门，需要鉴真产品检测深伪技术的篡改，防范由生成式AI滥用所引发的新型网络诈骗犯罪。

从OpenAI的模型保护看AI安全

OpenAI模型安全的关注焦点：输出正确、保障用户隐私

GPT-4所面临的安全挑战主要可以归纳为非真实内容输出、有害内容输出、用户隐私及数据安全问题。根据GPT-4技术报告，当前模型可能生成无意义或不真实的内容，导致信息质量及准确度下降。此外，模型虽然从获得许可与公开可用的数据源中学习，但可能还是会涉及用户个人数据。同时，在掌握大规模样本数据并持续承担数据处理任务的情况下，模型错误易导致数据泄露问题。

OpenAI如何保护GPT-4？

整体规划：OpenAI采取持续迭代的方式进行模型部署，在部署的前、中、后过程中均进行严格的审查。部署前，利用安全评估和对抗性测试进行风险分析；部署时，从小型用户群体开始测试并深入研究试点结果；部署后，审查使用案例，设置token配额及速率限制等。

具体措施：OpenAI采取多项措施应对安全挑战，包括招募专家进行对抗性测试、对预训练数据进行筛选和过滤、微调模型拒绝部分不当请求、深入分析潜在的部署风险、提供详细的用户文档以供参考、构建工具筛选有害恶意的模型输出、对照已颁布条款和政策审查使用案例、持续监控模型滥用迹象、研究模型影响等。以降低模型侵犯个人隐私权的风险为例，OpenAI通过微调模型可拒绝私人信息的请求，在可行的情况下从训练数据集中删除个人信息，创建自动模型评估、监控和响应用户试图生成信息的请求，并在条款和政策中限制使用。同时，Open AI保证不会使用数据来销售服务、做广告或建立档案。

► 招募外部专家开展对抗性测试：自2022年8月，OpenAI通过多位AI生成一致性、网络安全、国际安全等领域的外部专家对GPT-4进行对抗性测试，即采取攻击者的思维方式与攻击方法在模型中寻找缺陷和漏洞，从而进一步完善模型。

► 筛选和过滤预训练数据：预训练阶段，OpenAI通过内部分类器等识别并标记高概率含有不当内容的文档，通过预训练集中删除相关文档，实现对GPT-4的数据集的筛选。

► 微调模型优化输出结果：OpenAI采用RLHF（人类反馈强化学习）的方法训练模型。为解决RLHF微调后模型中依然存在的风险输入、产生有害且有误内容的问题，OpenAI在GPT-4中添加了安全相关的RLHF训练prompt，同时提出基于安全规则的奖励模型（RBRM）。在向RBRM输入prompt、GPT-4的输出以及人工设置的安全规则后，RBRM对输出内容排序，奖励GPT-4拒绝生成有害请求或者不拒绝生成安全请求的行为。

► 持续监控模型滥用：OpenAI不断从实践中优化和改进，通过服务和API将模型集成至产品中，持续监控滥用行为并推出解决措施。

图表3：RLHF运作机制

资料来源：OpenAI官网，中金公司研究部

复盘海外：AI内置于安全，商业化已落地

Microsoft Security Copilot：安全产品与LLM模型的融合

微软基于GPT-4发布首个生成式安全产品Security Copilot。2023年3月28日，Microsoft发布Security Copilot，核心是OpenAI的GPT-4与Microsoft安全专用模型的融合。形式上，Security Copilot接受自然语言输入，首次以对话形式提供安全服务，界面友好、交互方式新颖。

功能维度：事前评估阶段，Security Copilot具备强大的分析能力，能够挖掘出潜在攻击信号；同时，核心壁垒在于可以依托Microsoft每日收集到的65万亿个全球威胁情报，通过关联内容发现威胁，给出推荐方案，实现对安全威胁的提前发现和处置；网络攻击发生时，Security Copilot能够及时识别并提出补救方式，实现对安全事件的高效快速响应；呈现结果时，可以在几分钟内完成总结，针对安全攻击事件、威胁等生成报告。此外，Security Copilot能够与Microsoft终端类安全产品集成，包括Microsoft Defender、Microsoft Sentinel等，公司表示有望进一步扩展至第三方产品生态体系中。

Security Copilot的价值：Security Copilot属于AI赋能安全的典型产品。Security Copilot在提升效率和智能化程度之外，独特之处在于能够以对话形式回答安全问题，高效辅助安全专家；作为闭环学习系统，Security Copilot还可以根据用户反馈持续学习，调整响应内容，不断迭代和完善AI安全产品。

图表4：Microsoft Security Copilot

资料来源：Microsoft Secure大会（北美时间2023年3月28日），中金公司研究部

海外云及安全厂商布局：AI赋能安全产品，初步实现商业化

借鉴海外厂商在AI安全方面的布局，通过内生外延丰富安全能力，增强对相关数据、应用安全的保护，并与核心产品融合，在提质增效的同时，实现商业价值。

图表5：海外云及安全厂商重要AI安全产品与收并购梳理

资料来源：各公司官网，中金公司研究部

Amazon

AI技术助推数据安全服务，分类保护AWS敏感数据。2017年，Amazon收购AI安全初创公司Harvest.ai，Harvest.ai旗舰产品Macie Analytics借助AI技术对用户数据使用情况进行实时监测，分析其中可疑行为模式，防止用户数据泄露。随后，Amazon基于Macie Analytics推出安全服务Amazon Macie，通过机器学习对用户存储在AWS中的敏感数据进行自动识别、分类与保护。目前Amazon Macie可支持Amazon S3存储服务。Amazon Macie服务也可与AWS安全中心集成，聚合处理来自AWS安全服务的潜在警报，提升安全性能。除Amazon Macie外，Amazon基于AI技术推出威胁检测服务Amazon GuardDuty，持续监测未经授权的行为与恶意活动，维护数据存储安全。检测到潜在恶意攻击时，Amazon GuardDuty生成对应安全问题清单，提供全面数据保护服务。

图表6：Amazon Macie工作原理

资料来源：Amazon官网，中金公司研究部

AWS建立五层安全防护模型，强调自动化防护机制。AWS建立多层安全防护机制，主要囊括威胁检测与事件响应、身份认证与访问控制、网络与基础设施安全、数据保护与隐私、风险管控与合规五大方面。安全防护模型强调通过云上统一API与集中事件管理建立自动化防护机制，提升安全监测效率。

1） 威胁检测与事件响应方面，Amazon GuardDuty集成机器学习能力，实现对威胁进行及时、精准、高效的检测，Amazon Security Hub则对安全合规风险进行自动监测响应，并及时启动合规性检查，提供对应技术修复方案；

2） 身份认证与访问控制方面，Amazon提供高效的集中管理身份认证服务，建立严格的权限机制与数据边界，维护数据安全；

3）在网络与基础设施安全方面，AWS借助Amazon Shield Advanced及Amazon WAF进行稳定的DDoS攻击防御，为用户提供持续的网络访问安全保障；

4）在数据保护与隐私方面，Amazon集成云端各项服务，实现数据存储、传输及使用的全流程加密；

5）在风险管控与合规方面，AWS通过云计算专家、云安全公告板、云安全服务等工具实现自动化管理评估，保证用户的安全合规性。

AWS对于云基础设施进行全方位安全防护，与云基础设施等同的大模型，也需要安全产品、技术为其保驾护航。我们认为，对云基础设施的保护，从边界、虚拟机到云上数据的保护，大模型也同样需要从边界到对数据的全方位保护，并且对安全技术提出更高的要求。

Google

AI内嵌于各类产品，提升安全防护效率。Google依托AI技术对多项产品进行异常与恶意行为检测，提出自动化安全建议并提升安全专家工作效率。在Gmail中，AI系统协助过滤恶意软件与网络欺诈邮件；在Chrome浏览器中，AI分类器为用户提供风险网站的区分及警告。此外，Google推出的Chronicle Security Operations和Mandiant Automated Defense借助机器学习对关键警报进行识别，为用户提供风险预警。Breach Analytics for Chronicle通过以机器学习为基础的评分算法协助团队匹配IOC，进一步寻找仍存在的安全问题。reCAPTCHA Enterprise和Web Risk通过无监督学习模型对各类虚假或被勒索的账户进行检测，降低数据泄露风险。Cloud Armor Adaptive Protection和Mandiant Automated Defense借助机器学习模型检测并阻止潜在DDoS攻击。

CrowdStrike

云原生安全平台CrowdStrike Falcon运用AI防护威胁。公司拳头产品云原生端点保护平台Falcon Platform基于AI技术整合威胁情报并进行分析，为用户提供阻止网络入侵攻击的有效解决方案。Falcon平台提供端点安全、威胁情报、云端安全等多个模块，每一个模块均通过单一端点代理程序的云端管控台运行，用户可根据自身需求选择对应模组功能。Falcon平台主要有两大优势，即威胁图像（Threat Graph）与轻量级代理（Lightweight Agent）。一方面，作为支持Falcon终端保护平台运行的关键功能，Threat Graph在公司安全云架构与大量数据储备的基础上引入AI驱动的分析机制，将实时分析结果情境化，持续检测并预防潜在威胁，提升安全团队响应效率。另一方面，智能的轻量级代理不仅可以记录端点活动信息，通过AI技术识别和预防未知网络攻击，阻止恶意软件，还能降低用户终端消耗，改善安全防护机制。单一的轻量级代理与统一管理的云平台提升了用户使用体验的便利性，也体现了Falcon平台的独特优势。

图表7：CrowdStrike Falcon平台集成部分AI能力，提升定价权

资料来源：CrowdStrike官网、中金公司研究部

AI技术赋能攻击指标IOA，提升预测和阻止攻击的效率。IOA是提示潜在网络攻击的事件序列，该指标专注于检测攻击者的意图和所采取的技术，因此IOA可以帮助分析团队在系统被破坏前发现并中止攻击行为。通过跟踪IOA，分析人员能从事件发生顺序中快速推断出攻击者的行为动机，由关键攻击点确定攻击的全貌，并借助行为分析与建模完成预测。相对于专注识别恶意行为或工具的传统入侵指标IOC，IOA化被动、静态的安全防护机制为主动、动态的机制；且IOA不局限于已明确是恶意攻击的行为，而是关注一切有潜在威胁的行为，更能适应日益复杂的网络攻击威胁。基于安全云数据训练的云原生AI模型，公司在业界首创由AI驱动的IOA。为加强网络安全防御，AI驱动的IOA借助机器学习模型与实时威胁情报分析正在发生的事件，并向传感器动态发布IOA，传感器通过关联AI驱动的IOA和本地数据判断行为是否恶意。AI赋能的IOA、现有的IOA、传感器的机器学习模型均集成在云原生平台Falcon中。

AI赋能后，IOA的功能优化体现在：

► 加快检测新威胁的速度：AI模型持续学习驱动的IOA指标可协助团队更快地分析情报、发现新网络威胁。

► 提升预防措施的自动化程度：云原生AI模型与Crowd Strike Falcon传感器共享实时IOA，不受恶意软件的种类限制，直接阻止攻击。

► 减少漏报误报，提高生产力：通过集成AI驱动的IOA与专家分析意见，攻击信息漏报误报的数量显著减少，安全分析团队的工作效率明显提升；大量自动化监测威胁的数据及相关知识也有助于提升团队生产力。

图表8：AI赋能IOA的运行机制

资料来源：CrowdStrike官网，中金公司研究部

Palo Alto Networks

推出业界首个AIOps for NGFWs，革新防火墙运营。当前传统防火墙产品在安全态势分析、主动防御以及运营层面存在不足，例如运营层面防火墙过载问题，可能引发业务中断。公司将AI能力沉淀至防火墙产品，推出AIOps for NGFWs模块应对挑战。1）态势分析层面，AIOps for NGFWs基于行业标准、安全情境及防火墙收集的遥测数据，提供最佳配置建议，加强安全态势；2）防火墙运营层面，AIOps提前七天分析、预测防火墙运行状况，降低业务中断的可能性；在运营过程中，AIOps实现了应用、威胁、网络等信息的一站式检测，筛选出隐患较大的警报，并且明确优先级，节省时间。

► AIOps for NGFWs的工作机制

AIOps for NGFWs以云为基石，以PAN-OS遥测技术为引擎，主要依托来自PA-Series、VM-Series、Panorama内的遥测数据。在遥测数据传输至云端后，利用训练好的AI模型检测异常情况并且提供操作建议。

图表9：AIOps for NGFWs的工作机制

资料来源：Palo Alto Networks官网，中金公司研究部

► AIOps for NGFWs的商业价值：助力客单价提升

目前AIOps for NGFWs分为免费版和付费版：免费版包含部分基础功能，在应用中心内直接激活即可；付费版增加了业务中断预测、威胁检测等功能，用户需要购买相关订阅服务。

图表10：NGFW AIOps免费和付费高级版可用功能

资料来源：Palo Alto Networks官网，中金公司研究部

AI驱动SOC的检测和响应流程。SOC主要负责处理防火墙、身份认证等基础设施产生的各类安全告警日志，并且持续检测威胁、提供自动响应攻击。公司的自动化SOC平台Cortex，涵盖的产品包括Cortex XDR、Cortex XSOAR、Xpanse、XSIAM：（1）Cortex XDR：主要功能为检测攻击，方法为整合流量数据和恶意行为，防火墙等终端数据接入后，XDR可以自动完成关联分析。AI模型获取数据后，将行为与预期的基准水平做比较，确认异常后发出警报。（2）Cortex SOAR：主要功能为响应，方法为在接收检测源的信息后，自动处理警报，执行预设的流程。AI模型能够从历史事件中学习，并结合历史操作记录提供建议。（3）Cortex XSIAM：当终端客户同时购买多家供应商提供的安全产品时，数据收集与关联成为新难题。XSIAM利用AI交叉关联数据，在客户侧运行标准化的数据湖，大幅缩减响应时间，快速阻止威胁。

Fortinet

公司AI产品布局丰富，已形成可联动的产品体系。FortiGuard Labs是公司产品融入AI技术的起点，负责识别恶意活动，生成威胁情报。在威胁情报支撑下，AI进一步渗透至FortiGate、FortiSandbox、FortiMail、FortiWeb、FortiEDR、FortiClient等产品，面向不同场景提供防护。

AI赋能FortiGuard Labs，将实时威胁情报分发至终端产品。随着网络攻击速度、规模提升，客户需要快速获取威胁情报与安全防护方案。公司FortiGuard Labs主要负责网络安全威胁问题的发现和解决。运用AI技术，FortiGuard防御的效率和准确性有所提高。在提供实时威胁情报方面，FortiGuard Labs采用SEDS人工智能系统分析安全事件，将威胁情报通过全球分发网络推送给所有被订阅的Fortinet产品中。其中，SEDS系统通过多层神经网络，每日训练2000万+文件，生成数以十亿计的特征，同时进行持续学习与特征强化，提高准确度。在威胁检测威胁、警报发送方面，FortiGuard Labs以MITRE ATT&CK分析框架为基础，由AI加速了威胁事件的警报、检测、分析、补救过程。

► 以FortiGuard中反病毒研究小组为例：数百个威胁信息流汇聚的海量数据加载、归档后，统一存储在数据库之中。可疑样本先完成交叉扫描，然后运用AI技术检测恶意行为，复杂样本由专家进行分析。如果被分析的样本确认为高风险，分析师从中提取出IOC。根据IOC生成的签名自动化生成后发布，为FortiMail、FortiGate等系列产品提供威胁情报。

图表11：FortiGuard工作流程

资料来源：Fortinet公众号，中金公司研究部

FortiNDR可实现私有网络检测与响应，是公司AI应用最新成果。NDR在网络流量分析NTA技术的基础上加入流量响应能力，是兼具威胁检测、响应功能的产品。当前部分客户需要建立面向自身网络、应用、计算资源的私有威胁情报检测中心。公司2022年推出FortiNDR，能够部署在客户私有网络中，检测恶意软件，分析攻击原因，实时响应威胁。AI技术融入其中进行赋能：（1）通过识别和监测网络流量，快速检测出网络威胁；（2）检测出攻击后自动采取相应措施阻止，减小损失；（3）自动化事件数据收集、事件数据分析、基准数据对照过程，快速完成安全事件影响评估。

图表12：FortiNDR可提供多种订阅版本

资料来源：Fortinet官网，中金公司研究部

CloudFlare

AI自动化优化API端点的发现与监测。公司推出的API Gateway可基于AI技术自动化端点的管理和监测。通过API Gateway，客户可开展API发现、管理分析与分层防御，确保API安全。API Gateway中的一系列安全防护组合可以协助预防API的部分风险，例如数据过度暴露、安全配置错误、缺乏资源与速率限制等问题都将得到有效解决。

AI模型助力应用程序防火墙建设。公司始终致力于在识别异常、商业智能等方面运用AI技术。由于Web应用程序容易出现信息泄露，WAF的建设较为重要。2022年12月，公司为企业用户推出WAF Attack Score Lite和Security Analytics，主要提供检测攻击、缓解攻击、提升流量整体可视性等服务。公司为WAF的托管规则创建了补充功能，通过机器学习技术协助检测未知攻击，及时维护数据信息安全。公司采用有监督的机器学习模型，通过WAF托管规则生成包含多次请求的训练，持续优化训练模式，缓解不同类型攻击，打造更安全的互联网平台。

图表13：早期检测+强大的缓解措施=更安全的互联网

资料来源：CloudFlare官网，中金公司研究部

Okta

AI应用于自适应身份验证产品，提升检测与响应能力。基于Okta Identity Cloud，公司自适应多重身份认证为云、数据、Web应用程序等提供身份验证和身份保护能力。风险身份验证是公司自适应多因素身份认证产品的功能之一，是公司应用AI技术的代表。依托机器学习，公司将输入的设备、位置、IP地址等数据转换成上下文行为配置文件，集合外部风险信号补充相关背景信息，为不同风险级别匹配对应访问政策，从而使风险身份认证自动检测、响应攻击。

AI技术协助Okta进行威胁检测，阻止恶意流量。公司为用户推出基准安全功能ThreatInsight，以检测并缓解各类对Okta数据信息的网络攻击。为降低全局路由器级别的DDoS攻击风险，公司设置了IP黑名单及各类安全控制措施。在已被识别为恶意IP的地址之外，公司仍面临多个在特定时间内较为可疑的IP地址，ThreatInsight功能可阻止此类可疑IP对受保护的API端点进行访问。在进行身份验证前，ThreatInsight借助启发式及机器学习技术对在客群中检测到的攻击进行观察分析，阻止或提升在近期攻击中识别的基础设施相关请求，并提供风险评分及应对策略。同时，公司用户可集合ThreatInsight与WAF、DDoS缓解服务等各类网络安全设备服务，依托不同层级的安全保护，提升数据安全性。

图表14：Okta ThreatInsight服务示意图

资料来源：Okta官网，中金公司研究部

Zscaler

AI支撑安全云框架。公司深耕AI与产品的集成，多个AI、数据科学家团队持续开展研究，已积累超45项人工智能相关专利。公司具备云原生、边缘云服务架构、大规模SSL检查、零信任网络访问与高效运营等特质，为用户提供更加高效的性能与更强大的安全性。AI赋能安全云后：1）不同于私有部署产品，云将AI/ML能力应用于实时流量中，用户在多种场景都可以实现深度分析；2）云能够提供AI需要的计算、内存与存储资源，持续完善AI算法；3）AI能够分析所有TLS/SSL流量，提升攻击检测能力。当前，公司的AI应用成果涵盖安全、内容分类、数据分类与保护、用户体验与策略等。

► 应用场景

（1）网络安全：AI模型能够发现新型恶意软件、检测出网络钓鱼等安全问题，并提供判断依据，还能实现流量的监控和智能文件隔离。

（2）内容分类：AI提供内容分类能力，能够识别出DGA，实施访问控制。

（3）数据保护：利用神经网络识别具有风险性的用户行为，防范内部威胁和数据泄露问题。

（4）策略提出与体验提升：基于无监督机器学习、聚类、双塔神经网络模型等AI技术，可以自动提出优化业务、降低风险的策略。基于归纳推理、时间序列异常检测和AI预测模型，可以实现对云上问题的自动检测与补救，提升用户体验。

零信任技术逐渐优化，AI驱动创新增强安全服务边缘平台。安全服务边缘（SSE）为专注安全服务的安全访问服务边缘（SASE）框架的子集，融合了专用云平台为用户提供的各类网络安全服务。SSE包括的核心服务为安全Web网关（SWG）、云访问安全代理（CASB）及零信任网络访问（ZTNA）框架。公司引入全新的AI技术赋能现有SSE平台，依托安全云存储的大量数据进行优化。在高级网络威胁防护方面，公司借助实时AI从日常信号中分析识别威胁情报，并阻止网络钓鱼及恶意攻击；在下一代零信任网络访问方面，公司借助AI技术对不同应用进行攻击分类，尽可能减少内部攻击并保护应用程序；在数据体验监控方面，公司借助AI分析的原因、各类库存指标与API集成，提升故障排除效率，保障用户数据安全性。

图表15：以Zscaler 安全服务边缘平台SSE为例看AI赋能

资料来源：Zscaler官网，中金公司研究部

总结：基于AI赋能提升检测能力，内嵌于核心产品打开市场空间

AI赋能安全产品方面，主要云厂商Google、Amazon、Microsoft在AI领域布局相对较早，并运用AI技术提升安全能力，保护相关数据及应用；安全厂商拥有丰富的安全数据资产及威胁情报库，依托数据分析、AI能力强化检测效率的同时，提升对攻击的处置和响应能力，并将AI技术沉淀至自身拳头产品，例如CrowdStrike、Zscaler以AI赋能云安全；Palo Alto Networks、Fortinet以AI赋能防火墙、网络层安全；Okta以AI赋能身份验证产品等。

商业模式层面，目前AI能够产生收费的模式主要有两种：

1）作为单一组件提供，单独收取订阅费用，例如Palo Alto Networks的NGFW AIOps和Fortinet的FortiNDR；

2）集成至平台产品中，根据提供服务的不同差别定价，例如CrowdStrike的Falcon平台。

各厂商积极探索AI模型保护。微软在AI保护方面探索相对较多，包括于2020年10月与MITRE合作发布Adversarial ML Threat Matrix，为安全专家提供检测、响应、补救ML系统遇到威胁的开放式框架；2021年5月推出开源AI安全风险评估工具Counterfit，该工具起初是专门为目标AI模型编写的攻击脚本集，后续演绎为自动化产品，可以对多个系统进行大规模基准测试。

展望国内：AI监管政策落地；安全GPT首发，对标Security Copilot

2023年4月11日，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（下称意见稿），结合《网络安全法》、《数据安全法》、《个人信息保护法》等为生成式人工智能服务的发展护航。《意见稿》的关注要点在于产品安全评估审查、生成式内容标识与用户数据保护等。

申报安全评估与持续优化模型训练共同保障模型安全。根据《意见稿》，人工智能模型产品提供服务前，应当按照规定向国家网信部门申报安全评估，并履行算法备案和变更、注销备案手续。运行过程中，对于不符合要求的生成内容，除采取内容过滤等措施外，还应在3个月内通过模型优化训练等方式防止再次生成。此外，生成内容检测识别成为新难题。为此，《意见稿》要求提供者按照《互联网信息服务深度合成管理规定》对生成的图片、视频等内容进行标识。我们认为，提供服务前的评估申报、运行过程中模型优化要求彰显了国家对于模型安全的重视，推动了模型保护的发展。

明确用户信息保护责任承担机制，强调数据安全。《意见稿》指出，生成式人工智能服务提供者涉及个人信息后，应承担个人信息处理者的法定责任、履行个人信息保护义务。数据收集层面，提供者对预训练数据及优化训练数据来源的合法性负责。数据标注阶段，制定合规、清晰、具体、可操作的标注规则，培训标注人员，抽样核验标注内容。服务过程中，及时处置个人关于更正、删除、屏蔽其个人信息的请求，保护用户的输入信息和使用记录，包括不得非法留存能够推断出用户身份的输入信息、不得根据用户输入信息和使用情况进行画像、不得向他人提供用户输入信息。我们认为，人工智能的发展对数据安全提出更高要求，数据安全行业景气度持续提升。

除了对AI模型本身的保护，各厂商也积极将AI技术应用到安全产品，提升产品的检测效果与运营效率；长期维度，我们认为，AI赋能安全有望助力厂商优化商业模式、降本增效。

风险提示

政策落地不及预期

由于AI监管需要政策推动，相应产品技术落地更有保障。如果政策落地不及预期，则厂商对安全重视程度或降低。

技术发展不及预期

AI与安全相辅相成，AI驱动安全产品降本增效，安全保护AI发展。若AI技术、安全技术发展不及预期，则难以保证AI大模型作为数字基础设施的安全，同时，AI对于安全的赋能也有限。

下游需求不及预期

大模型发展迅速，技术迭代较快，但下游需求落地仍在探索阶段。如果下游需求不及预期，对AI、大模型要求较低，相应地对安全产品需求也会不及预期。

文章来源

本文摘自：2023年5月22日已经发布的《AI安全初探：耦合共生，相辅相成》

李虹洁 分析员 SAC 执证编号：S0080522070023 SFC CE Ref：BSZ555

袁佳妮 分析员 SAC 执证编号：S0080523050003 SFC CE Ref：BTM577

钱凯 分析员 SAC 执证编号：S0080513050004 SFC CE Ref：AZA933

法律声明