Counterfit 是微软开发的一个开源工具,用于对企业或组织的人工智能系统进行自动化的安全测试。鉴于人工智能系统在各行业中广泛运用,其最终目标是让企业对其人工智能系统的稳健性和可靠性有很高的信心。微软指出,在它调查的 28 个企业/组织中,有 25 个认为他们没有正确的机制来保护人工智能系统,他们的安全专业人员也没有很好地处理针对它们的威胁。
Counterfit 最初是一套可用于攻击 AI 模型的脚本。微软首先在自己的内部测试中使用它,但现在,Counterfit 已经发展成为一个自动化工具,可以大规模地攻击多个 AI 模型。该公司表示,它已经成为微软的人工智能业务的主要工具,可以用它来执行和自动化目前正在开发和生产的人工智能服务的对抗性安全测试。
使用 Counterfit 的好处是它与环境、模型和数据无关。这意味着,它可以在企业内部、边缘和云端使用,以测试任何类型的人工智能模型,这些模型依赖于几乎任何形式的输入数据,包括文本和图像。
微软表示,Counterfit 对于使用 Metasploit 或 PowerShell Empyre 的安全团队来说很容易使用。它可以用于渗透测试和漏洞扫描,它还可以记录对人工智能模型的攻击,因此数据科学家可以利用其遥测技术进一步加强其人工智能系统的安全性。
你可以前往该开源项目的 GitHub 页面:https://github.com/Azure/counterfit,了解更多关于 Counterfit 的信息以及如何在企业中部署它。