人工智能如何影响网络安全和安全管理？

随着人工智能带来的好处，例如提高生产力、降低运营成本和加快产品上市速度等，越来越多企业正在广泛应用人工智能。

在新冠肺炎疫情期间，人工智能的采用率飙升。某间全球决策情报公司在2021年对5,000多家企业进行的一项全球调查结果显示，43%的企业报告称，由于新冠疫情，他们的公司加速了人工智能的推出。

其次，云服务加速了人工智能的采用。Tractica预测，到2025年，人工智能在公共云服务总收入中的占比将高达50%。该研究公司还预计，全球人工智能市场收入将以每年57%的速度增长。

另外，O'Reilly出版的一项于2021年对3,000多名参与者进行全球调查显示，人工智能应用第二重要的行业是技术、金融和医疗保健行业。

企业在大规模应用人工智能的同时，仍普遍存在若干忧虑，其中包括人工智能的安全性和合规性。

挑战与风险

人工智能市场的增长并非一帆风顺，意外和事故频发，例如在不知情或未经同意的情况下获取了大约160万个人的机密医疗记录而面临诉讼；自动驾驶车祸等人身伤害事件；人工智能聊天机器人被平台上的不当帖子破坏而并在推出后不到24小时内开始发布攻击性推文；Deepfake视频等等的事件。

从这些案例中可以看到人工智能采用带来的数据隐私和安全隐患，以及人工智能的漏洞。所以采用人工智能有相对应的挑战和风险。

采用人工智能技术时常见的挑战包括：

用于训练人工智能的敏感数据可能会引发隐私问题，尤其是在涉及个人数据的情况下，并且数据可能会在没有足够安全保护的情况下受到损害

训练数据中的偏差会影响人工智能的行为或结果，导致解决方案无法按预期运行

人工智能系统错误可能对用户造成伤害

人工智能使用的算法和生成的结果是否可以被专家和用户理解和解释

谁对人工智能做出的决定以及人工智能的运作方式负责

人工智能是否符合道德、社会规范以及企业价值观

缺乏开发或监督人工智能模型，并对人工智能进行管理的专业人才

使用人工智能时会涉及的风险包括：

运营风险：人工智能能否实现业务目标，以及人工智能失败时是否有应急预案

技术风险：在人工智能开发过程中，与使用不同技术相关的风险

模型风险：与人工智能模型的可靠性相关的风险

第三方风险：第三方参与人工智能开发过程时的相关风险

安全风险：与支持人工智能系统的数据、软件和硬件相关的信息安全和网络安全风险

道德和合规风险

与训练数据相关的数据质量风险

监管要求

随着人工智能技术的应用和发展，监管机构已经发布了若干与人工智能安全相关的监管要求或指南。同时，亦有不同监管机构正在起草和发布越来越多的法规和标准。以下有几个例子：

香港金融管理局（HKMA）发出的通函

金管局关于“人工智能高级原则”的通函为银行业使用人工智能应用程序提供了原则和指导金管局关于“授权机构在使用大数据分析和人工智能方面保护消费者”的通函就银行业使用大数据分析和人工智能的消费者保护方面提供了一些指导原则

《国家新一代人工智能标准体系建设指南》

于2020年发布，《国家新一代人工智能标准体系建设指南》概述了建立国家人工智能标准体系的战略，涵盖人工智能不同方面的标准，如硬件和软件、概念、应用、安全和伦理预计2023年会初步完成人工智能标准体系

《人工智能法》（“Artificial Intelligence Act”）（草案）

欧盟委员会于2021年4月21日提出的法规草案是对GDPR的补充，并具有域外效力法规规定的某些义务包括风险管理、数据治理、技术文档、记录保存、透明度和向用户提供信息、人工监督、准确性和网络安全稳健性

《国家人工智能倡议法案》（“National AI Initiative Act”）

在国家层面，美国国会于2021年1月颁布的一个总体框架，以加强和协调美国所有部门和机构的人工智能研究、开发、示范和教育活动

以上监管/指南均共同提出的控制要求包括：

透明度——在提供服务之前，应告知用户该服务所采取的人工智能技术以及所涉及的风险

可解释性——应当向所有相关方解释应用程序的逻辑

隐私和数据治理——遵守适用的数据保护要求，并确保用于训练人工智能应用程序的数据具有良好的质量和相关性

公平——人工智能决策不会歧视或表现出对任何用户群体的偏见

可靠性、弹性和稳健性——确保人工智能决策的准确性，并实施有效的网络安全措施，以应对对人工智能模型和应用程序的攻击

问责制——确保为人工智能驱动的决策建立问责制

人工代理和监督——实施应急措施，在人工智能出现意外结果时允许人工干预

治理人工智能的运用

Gartner预计，到2026年，实施人工智能透明度、信任和安全性的组织将看到他们的人工智能模型在采用、业务目标和用户接受度方面实现50%的成果改进。Gartner调查结果表明，组织已经部署了成百上千个IT 领导者无法解释的人工智能模型。缺乏知识和理解可能会产生严重的后果。当依赖增加时，人工智能模型表现不佳的影响会被放大。不管理人工智能风险的组织更有可能遇到负面的人工智能结果和违规行为。模型不会按预期运行，并且会出现安全和隐私问题、财务和声誉损失以及对个人的伤害。错误执行的人工智能也可能导致组织做出糟糕的业务决策。

为确保人工智能系统的安全性和合规性，企业应当对人工智能技术的运用进行治理。有效的人工智能治理将包括以下关键控制领域：

法规和政策——了解适用的法律法规，制定人工智能领域的政策

标准和规范——制定人工智能安全要求的标准和规范，以纳入人工智能系统和解决方案

技术方法——实施技术措施以应对人工智能风险

安全评估——评估人工智能系统的安全性、弹性和稳健性，并进行持续监控和审查

人才发展——为负责人工智能开发、部署和管理的员工提供充分的培训

可控环境——确保人工智能解决方案在其整个生命周期内可解释且一致，并保持人工对人工智能系统的监督

安全管理正面对的挑战

首先，整个网络安全行业的劳动力缺口正在逐年扩大。在需求方面，在新冠肺炎疫情肆虐下，世界各国为此实施不同程度的防疫政策，保障人民生命健康。为应对营商环境的转变，愈来愈多企业因此走向数字化转型，包括将线下业务迁至线上发展、安排员工远程工作、把IT基础设施迁移到云计算环境等等，力求在激烈变化的环境下为企业获取新的业务机会。但与此同时，企业在网络安全方面所暴露的攻击面亦随之增加。为此，企业需要采取措施加强网路安全防护水平，例如聘用网络安全专家或寻求安全托管服务来为企业部署安全解决方案，并对企业IT环境进行监控、评估和优化。

其次，在安全服务供应方面，在Ponemon Institute LLC 发布的“Improving the effectiveness of the Security Operation Center”[1]研究报告中，可以看到安全运营中心（SOC）在日常运营当中存在不少痛点，有73%的受访者认为“不断增加的工作量会导致工作上的倦怠”，有65%的受访者表示“那些痛点令他们考虑辞去分析师岗位以谋求其他职位”，从长远的角度来说，市场必将出现安全分析师供应短缺的情况。不少 SOC的安全分析师长期面临着海量枯燥的工作，例如长时间的轮班、警报带来的乏味、耗时的调查，因此，有部分经验丰富的分析师愿意转向其他职位以减少工作上的压力。此外，安全运营团队每天都需要处理来自多个安全平台的警报，其中包括不少虚假警报，这远远超出了团队人员能够担负的处理速度。

最后，随着互联网应用的普及化，所对应的网络威胁数目随之上升，而且其复杂性也相对增加，为此对网络安全也带来了挑战。如今，移动设备、物联网、云计算在企业中的应用日益普及，攻击面也相对增加。此外，黑客可以利用人工智能来不断变形病毒/恶意软件，而传统的静态防御解决方案未必能对此有效检测以及阻断。另一个原因是网络攻击服务化（Cyberattack-as-a-Service），令网络攻击变得普及，攻击者自身不须拥有强大的黑客知识亦可以通过支付加密货币获得攻击工具。

人工智能如何改变安全运营

人工智能在安全运营中的其中一大作用是协助安全分析师的工作。毕竟，它不太可能完全取代有经验的人类。反之，人工智能可以专注于比人类擅长的领域去协助人类，如分析大数据，替人类进行繁琐、重复的任务，以便分析师能够发挥更复杂的技能，如创造力、细微差别和专业知识。

此外，通过人工智能对安全事件进行分析，查询海量数据并在整个网络中进行透视，以收集事件告警的背景并进行调查，整理出高优先级的事件让分析师加以关注。同时，人工智能通过分析人类分析师调查警报的过程，进行训练以及机器学习，当未来有类似的事件发生时，机器可在通知分析师前生成多个查询，并同时调查所有平行威胁。

人工智能在安全运营的应用

为人类带来增援

为应对海量的告警以及高级持续性威胁（Advanced Persistent Threat, APT），网络安全运营团队积极寻求人工智能（AI）和机器学习（ML）来提高效率，分析师因此能减少分析所需时间，包括采用人工智能的威胁狩猎工具（Threat hunting tool）提高企业对隐藏威胁的检测。例如，采用无监督ML算法的用户行为分析工具（User behavior Analytics, UBA）可以持续监测和分析用户活动、系统安全变化、网络流量和对应用程序和数据的访问检测和标记异常情况，使得该威胁对环境造成破坏之前，企业可以把未知的威胁更快地转化为已知的威胁。因此，网络安全运营团队在 AI/ML工具协助下，可以采取更积极的策略，对事件作出相应的反应。

识别攻击

针对恶意软件以及恶意行为，传统的安全解决方案大多以特征（Signature-based）检测来进行识别。可是，它必须在漏洞被公开以及厂商开发团队加入攻击特征后才能识别威胁。然而，时下较流行的攻击大多以TTP（Tactic, Technique, Procedure）去避开特征的检测。采用人工智能检测，可通过分析大量日志、事件类型，以及结果去识别全新、经过变形或APT攻击，从而更快识别出威胁。

事件响应自动化

在事件响应（Incident Response）的方面，相对于安全分析师，基于人工智能的安全工具一旦发现威胁就可以对其作出反应。事件响应的自动化使事件的响应更加容易，而且速度和效率更高。其次，AI/ML在事件响应中通过记录威胁模式及其随时间变化的特征，建立威胁信息库并分析这些威胁如何运作，从而根据算法驱动的分析来创建事件响应预案。

透过使用由AI/ML驱动自动生成的预案，可以使SOC 更有效地集中资源。人工智能事件响应工具可以根据风险分析和以前的事件响应，当面对类似的安全事件，即可以给予分析师如何执行的建议。人工智能事件响应工具亦可根据安全分析师的专业知识、实际可用性和案例历史，作出资源分配，向SOC团队建议如何作出人员分配。这有助于提高整个团队的分析效率，同时利用自动化来节省安全分析师的时间，以进行更高级别的增值工作。

网络安全运营团队该如何面对人工智能

通过以上对人工智能影响安全运营的了解，我们可以预见人工智能的出现将改变大多数IT和信息安全行业人员的角色。有部分的行业人员对此有着极大的担忧，例如担心自己会被人工智能控制的机器人取代。事实上，人工智能工具能为信息安全专业人员创造机会，使他们能够更有效地履行工作职责，同时也可利用新洞察来改善整个信息安全计划，并与SOC之外的其他团队展开更多合作。

在一般的SOC工作中，安全分析员每天查看网络流量和来自不同系统的日志，以确定安全事件是否构成需要进一步调查的威胁。而SOC传统的分工上，一线（Tier-1）分析师负责查看警报，二线（Tier-2）分析师寻找可能的攻击，三线（Tier-3）分析师执行事件响应，安全工程师则负责想出更好的方法来使基础设施更加安全。

然而，当我们把人工智能以及自动化应用在安全运营的场景后，人工智能会代替分析师处理以往相对低阶和繁杂的日常工作，如查看告警、分析、检测等等。故此，团队必须调整每个岗位的角色以及职责，调整培训计划的重点，例如让分析师建立与人工智能系统合作的技能，建立良好的沟通技巧以便对企业的业务部门解释安全问题。

结语

在当今人工智能持续发展的趋势下，企业应以不同视角去看待人工智能的使用，特别是人工智能如何影响网络安全管理。虽然人工智能的使用为企业带来挑战和风险，但同时人工智能也能有效解决劳动力短缺以及有效提升网络安全管理的效果和效率。故此，企业为有效应对挑战以及控制风险，应及早制定内部人工智能安全要求的政策、标准和规范，开展对人工智能的应用研发，构建人工智能驱动的网络安全管理能力。在企业不断发展的道路上，人工智能将助力企业在现今的大环境中提高生产力及综合竞争力。

最后，安永专业团队希望透过提供各种服务，协助企业在评估、计划、构建、实施等不同阶段，成功实施人工智能网络安全和安全管理。服务包括但不限于：

合规性评估

安全风险评估

内部政策的制定和审查

员工培训材料和研讨会

AISecOps工具的微调和实施

AISecOps成熟度评估

注：

[1] Ponemon Institute LLC. (n.d.). Improving the effectiveness of the security operations center - devo.com. Retrieved October 31, 2022

本文是为提供一般信息的用途所撰写，并非旨在成为可依赖的会计、税务、法律或其他专业意见。请向您的顾问获取具体意见。