用AI攻击AI？对抗性机器学习的威胁与防御

越来越多的企业组织开始应用人工智能（Artificial Intelligence，缩写AI）和机器学习（Machine Learning，缩写ML）项目，保护这些项目变得日益重要。IBM和Morning Consult联合开展的一项调查显示，在7500多家受访跨国企业中，35%的企业已经在使用AI，比去年增加了13%，另有42%的企业在研究可行性。然而近20%的公司表示在保护AI系统的数据方面存在困难，这减慢了采用AI的步伐。

保护AI和ML系统面临重大挑战，一些挑战并不是AI技术本身造成的。比如说，AI和ML系统需要数据，如果数据包含敏感或隐私信息，就会成为攻击者的目标。机器学习模型在网络空间环境下存在受到对抗性攻击的潜在风险, 可能成为防御体系中最为薄弱的环节, 从而危害整个系统的安全。

什么是对抗性机器学习

对抗性机器学习并不是一种机器学习，而是攻击者用来攻击ML系统的一系列手段。对抗性机器学习利用了ML模型的漏洞和特殊性来实施攻击。比如，对抗性机器学习可用于使ML交易算法做出错误的交易决策，使欺诈性操作更难被发现，并提供错误的操作建议，以及操纵基于情绪分析的报告。

对抗性机器学习攻击分为中毒攻击、逃避攻击、提取攻击和推理攻击等四种方式。

1.中毒攻击

在中毒攻击中，攻击者操纵训练数据集。比如，故意使数据集有偏差，让机器以错误的方式学习。例如，你家装有基于AI的安全摄像头。攻击者可能每天凌晨3点路过你家，让他的狗穿过草坪，从而触发安全系统。最终，你关闭凌晨3点触发的这些警报，以免被狗吵醒。那个遛狗的人实际上在提供训练数据，让安全系统知道每天凌晨3点发生的事是无害的。当系统被训练以忽略凌晨3点发生的任何事情后，攻击者就趁机发起攻击。

2. 逃避攻击

在逃避攻击中，模型已经过训练，但攻击者可以稍稍改变输入以实施攻击。一个例子是停车标志