恶意用户可以毒害机器学习的训练数据，非法访问训练数据集中的敏感用户信息，并导致类似的其他问题。
机器学习和人工智能的采用在过去十年中飙升。涉及这些技术的应用范围从面部识别和天气预报应用到复杂的推荐系统和虚拟助手。随着人工智能越来越融入我们的生活，人工智能系统中的网络安全问题也随之而来。根据世界经济论坛 2022 年全球风险报告，网络安全故障是未来十年最值得关注的 10 大全球风险之一。
网络安全和人工智能不可避免地会在某个时候交叉，但这个想法旨在利用人工智能的力量来加强网络安全。虽然它存在于自己的位置，但也需要网络安全的力量来保护机器学习模型的完整性。这些模型的威胁来自源头：模型训练数据。危险在于机器学习的训练数据可能被黑客远程或现场操纵。网络犯罪分子操纵训练数据集以影响算法的输出并降低系统防御。这种方法通常无法追踪，因为攻击者伪装成算法用户。
如何操纵机器学习的训练数据？
机器学习周期涉及使用更新的信息和用户见解进行持续训练。恶意用户可以通过向机器学习模型提供特定输入来操纵此过程。使用被操纵的记录，他们可以确定机密的用户信息，如银行帐号、社会保障详细信息、人口统计信息和其他用作机器学习模型训练数据的分类数据。
黑客用来操纵机器学习算法的一些常用方法是：
数据中毒攻击
数据中毒涉及损害用于机器学习模型的训练数据。这些训练数据来自开发人员、个人和开源数据库等独立方。如果恶意方参与向训练数据集提供信息，他们将输入精心构建的“有毒”数据，从而使算法对其进行错误分类。
例如，如果您正在训练识别马的算法，该算法将处理训练数据集中的数千张图像以识别马。为了加强这种学习，您还输入了黑白奶牛的图像来训练算法。但是，如果不小心将棕色奶牛的图像添加到数据集中，模型会将其分类为马。该模型在被训练区分棕色母牛和棕色马之前不会理解差异。
同样，攻击者可以操纵训练数据来教授有利于他们的模型分类场景。例如，他们可以训练算法将恶意软件视为良性软件，并将安全软件视为危险的使用有毒数据的软件。
数据中毒的另一种方式是通过“后门”进入机器学习模型。后门是模型设计者可能不知道的一种输入类型，但攻击者可以使用它来操纵算法。一旦黑客发现了人工智能系统中的漏洞，他们就可以利用它来直接教模型他们想要做什么。
假设攻击者访问后门以教导模型，当文件中存在某些字符时，它应该被归类为良性。现在，攻击者可以通过添加这些字符来使任何文件成为良性文件，并且每当模型遇到这样的文件时，它就会按照训练好的内容将其归类为良性文件。
数据中毒还与另一种称为成员推理攻击的攻击相结合。成员推理攻击 (MIA) 算法允许攻击者评估特定记录是否是训练数据集的一部分。结合数据中毒，成员推理攻击可用于部分重建训练数据内部的信息。尽管机器学习模型适用于广义数据，但它们在训练数据上表现良好。成员推理攻击和重建攻击利用这种能力来提供与训练数据匹配的输入，并使用机器学习模型输出在训练数据中重新创建用户信息。
如何检测和预防数据中毒实例？
模型会定期用新数据重新训练，正是在这个重新训练期间，有毒数据可以被引入训练数据集中。由于它随着时间的推移而发生，因此很难跟踪此类活动。在每个训练周期之前，模型开发人员和工程师可以通过输入有效性测试、回归测试、速率限制和其他统计技术来强制阻止或检测此类输入。他们还可以限制来自单个用户的输入数量，检查是否有来自相似 IP 地址或帐户的多个输入，并针对黄金数据集测试重新训练的模型。黄金数据集是基于机器学习的训练数据集的经过验证且可靠的参考点。
黑客需要有关机器学习模型如何工作以执行后门攻击的信息。因此，通过实施强大的访问控制和防止信息泄露来保护这些信息非常重要。限制权限、数据版本控制和记录代码更改等一般安全实践将加强模型安全性并保护机器学习的训练数据免受中毒攻击。
通过渗透测试构建防御
企业在对其网络进行定期渗透测试时，应考虑测试机器学习和人工智能系统。渗透测试模拟潜在的攻击以确定安全系统中的漏洞。模型开发人员可以类似地对他们的算法进行模拟攻击，以了解他们如何构建针对数据中毒攻击的防御。当您测试您的模型是否存在数据中毒漏洞时，您可以了解可能添加的数据点并构建丢弃此类数据点的机制。
即使是看似微不足道的不良数据也会使机器学习模型失效。黑客已适应利用这一弱点并破坏企业数据系统。随着企业越来越依赖人工智能，他们必须保护机器学习训练数据的安全性和隐私性，否则就有失去客户信任的风险。
