自 OpenAI 发布 ChatGPT 以来，许多安全专家预测，网络犯罪分子开始使用 AI 聊天机器人编写恶意软件并执行其他恶意活动只是时间问题。像所有新技术一样，只要有足够的时间和激励，就会有人找到一种方法来利用它。仅仅几周后，时间似乎已经到了。网络犯罪分子已经开始使用OpenAI的人工智能聊天机器人ChatGPT来快速构建黑客工具。诈骗者还在测试ChatGPT构建其他聊天机器人的能力，旨在冒充年轻女性诱捕目标，
事实上，Check Point Research（CPR）的研究人员报告说，至少有三个黑帽黑客在地下论坛上展示了他们如何利用ChatGPT的人工智能智能进行恶意攻击。
在一个记录在案的例子中，以色列安全公司Check Point在一个很流行的地下黑客论坛上发现了一个黑客的帖子，发帖人说他正在试验使用流行的人工智能聊天机器人来“重新创建恶意软件”。
ChatGPT 允许用户提出简单的问题或建议，例如编写追踪来自托管服务提供商的电子邮件
黑客将由ChatGPT生成的 Android 恶意软件压缩后在网络上传播。据报道，该恶意软件能够窃取感兴趣的文件。另一个黑客展示了另一种工具，该工具能够在计算机上安装了后门，并可能用更多恶意软件感染电脑。
Check Point在对情况的评估中指出，一些黑客正在使用ChatGPT来创建他们的第一个脚本。在上述论坛中，另一位用户分享了一段使用ChatGPT编写的Python代码，可以将受害者电脑上的文件加密。虽然这些代码可以出于无害的原因使用，但Check Point表示，“ChatGPT生成的代码可以在轻松修改后就能实现完全加密受害者电脑上的文件，而无需任何用户交互。”。此外，还有黑客在地下论坛上发帖称，他使用ChatGPT创建了一段代码，该代码使用第三方API来检索最新的加密货币价格，该价格用于暗网市场支付系统。
这家安全公司强调，虽然ChatGPT编码的黑客工具看起来“非常基础”，但“更复杂的威胁行为者增强他们使用基于人工智能的工具的方式只是时间问题。”。美国网络安全公司Forescout的安全情报副总裁Rik Ferguson表示，ChatGPT似乎还没有能力编写像近年来在重大黑客事件中看到的主要勒索软件一样复杂的东西，例如Conti，因其用于破坏爱尔兰国家卫生系统而臭名昭著。然而，OpenAI的工具将通过构建更基本但同样有效的恶意软件来降低新手进入非法市场的门槛说。
网络情报公司Hold Security的创始人亚历克斯·霍尔登（Alex Holden）也表示，他看到约会诈骗者也开始使用ChatGPT，因为网络犯罪分子试图创造令人信服的角色。“他们正计划创建聊天机器人，以冒充大多数女孩试图实现自动化闲聊用于网络诈骗。”
ChatGPT的开发人员已经实现了一些恶意请求过滤，可以防止AI构建间谍软件的明显请求。然而，在安全分析师发现使用ChatGPT后可以在没有错别字的情况下编写语法正确的网络钓鱼电子邮件后，人工智能聊天框受到了更多的审查。
从编写恶意软件到创建暗网市场
在一个实例中，恶意软件作者在其他网络犯罪分子使用的论坛中披露了他如何试验 ChatGPT，看看他是否可以重现已知的恶意软件和技术。
攻击者成功实现的一个例子是，这个人分享了他使用 ChatGPT 开发的基于 Python 的信息窃取程序的代码，该窃取程序可以搜索、复制和泄露 12 种常见文件类型，例如来自受感染系统的 Office 文档、PDF 和图像。同一位恶意软件作者还展示了他如何使用ChatGPT编写Java代码来下载PuTTY SSH和telnet客户端，并通过PowerShell在系统上秘密运行它。
另一位威胁行为者发布了他使用聊天机器人生成的 Python 脚本，用于使用 Blowfish 和 Twofish 加密算法加密和解密数据。安全研究人员发现，尽管该代码可以用于完全良性的目的，但威胁行为者可以轻松对其进行调整，使其无需任何用户交互即可在系统上运行 - 在此过程中使其成为勒索软件。与信息窃取者的作者不同，一些攻击者的技术技能似乎非常有限，实际上声称他使用ChatGPT生成的Python脚本是他创建的第一个脚本。
在第三个实例中，安全研究人员发现一些网络犯罪分子正在讨论他如何使用ChatGPT创建一个完全自动化的暗网市场，用于交易被盗的银行账户和支付卡数据，恶意软件工具，毒品，弹药和各种其他非法商品。
零门槛即可生成恶意软件
自 OpenAI 发布 AI 工具以来，对威胁行为者滥用 ChatGPT 的担忧一直很普遍，许多安全研究人员认为聊天机器人大大降低了编写恶意软件的门槛。
Check Point的威胁情报组经理Sergey Shykevich重申，使用ChatGPT，恶意行为者需要没有编码经验来编写恶意软件：“你应该知道恶意软件或任何程序应该具有什么功能。ChatGTP将为您编写代码，以执行所需的功能。因此，短期的担忧肯定是ChatGPT允许低技能的网络犯罪分子开发恶意软件”Shykevich说。“从长远来看，我认为更复杂的网络犯罪分子也将采用ChatGPT来提高他们的活动效率，或者解决他们可能存在的不同差距。”。
“从攻击者的角度来看，人工智能系统生成代码的能力允许恶意行为者通过充当语言之间的翻译器来轻松弥合他们可能遇到的任何技能差距。”Horizon3AI客户成功经理Brad Hong补充道。这些工具提供了一种按需创建与攻击者目标相关的代码模板的方法，并减少了他们搜索Stack Overflow和Git等开发人员网站的需求。
甚至在发现威胁行为者滥用 ChatGPT 之前，Check Point 与其他一些安全供应商一样，展示了对手如何在恶意活动中利用聊天机器人。在一篇博文中，安全供应商描述了其研究人员如何仅通过要求 ChatGPT 编写一封似乎来自虚构网络托管服务的电子邮件来创建听起来非常合理的网络钓鱼电子邮件。研究人员还演示了他们如何让ChatGPT编写VBS代码，他们可以粘贴到Excel工作簿中，以便从远程URL下载可执行文件。
该测试的目的是演示攻击者如何滥用 ChatGPT 等人工智能模型来创建完整的感染链，从最初的鱼叉式网络钓鱼电子邮件到在受影响的系统上运行反向shell。
从目前的情况来看，ChatGPT 无法取代熟练的威胁行为者——至少现在还没有。但安全研究人员表示，有很多证据已经表明ChatGPT确实有助于低技能黑客创建恶意软件，这将持续引发公众对网络犯罪滥用该技术的担忧。
绕过ChatGPT 的限制
一开始，一些安全研究人员认为 ChatGPT 用户界面中的限制很弱，并发现威胁行为者可以轻松绕过障碍。从那以后，Shykevich表示，OpenAI一直在努力改善聊天机器人的限制。
“我们看到对ChatGPT用户界面的限制每周都高得多。因此，现在使用ChatGPT进行恶意或滥用活动更加困难，“他说。
但是网络犯罪分子仍然可以通过使用和避免某些允许用户绕过限制的单词或短语来滥用该程序。NCC集团商业研究总监马特·刘易斯（Matt Lewis）将与在线模型的互动称为一种涉及计算的“艺术形式”。
“如果你避免使用恶意软件这个词，只是要求它向你展示加密文件的代码示例，根据恶意软件的设计原理，这就是它将要做的事情，”刘易斯说。“它有一种喜欢被指示的方式，有一些有趣的方法可以让它以多种不同的方式做你想让它做的事情。”
在关于相关主题的一次演示中，Lewis 展示了ChatGPT 将如何“编写加密脚本”，尽管该脚本没有达到完整的勒索软件，但仍可能很危险。“这将是一个很难解决的问题，”刘易斯谈到绕过时说，并补充说，对于OpenAI来说，上下文和意图的监管语言将非常困难。
更复杂的是，Check Point研究人员观察到威胁行为者使用带有GPT-3模型 API 的Telegram机器人，称为text-davinci-003，而不是ChatGPT，以覆盖聊天机器人的限制。
ChatGPT只是OpenAI模型的用户界面。开发人员可以使用这些模型将后端模型与自己的应用程序集成。用户通过不受限制保护的 API 使用这些模型。
“从我们所看到的情况来看，OpenAI在ChatGPT界面上设置的障碍和限制对于那些通过API使用这些模型的人并不适用。”Shykevich说。
威胁参与者还可以通过精确地向聊天机器人提示来躲避限制。自ChatGPT推出以来，CyberArk已经对其进行了测试，并发现了限制中的盲点。通过反复坚持和要求，它将提供所需的编码产品。CyberArk研究人员还报告说，通过不断询问ChatGPT并每次渲染一段新代码，用户可以创建具备高度躲避检测的多态恶意软件。
多态病毒可能非常危险。已经有在线工具和框架可以生成这种病毒。ChatGPT 创建代码的能力对不熟练的编码人员和脚本小子三最有益的。
就攻击者而言，这不是一项新的能力......它也不是生成恶意软件变种的特别有效的方法，目前已经有更好的工具。ChatGPT 可能是一个新的工具而已，因为它允许技能较低的攻击者生成可能危险的代码。
让网络犯罪分子更难
OpenAI和其他类似工具的开发人员已经安装了过滤器和控件，并不断改进它们 ，试图限制对其技术的滥用。至少就目前而言，人工智能工具仍然出现故障，并且容易出现许多研究人员所描述的完全错误，这可能会阻止一些恶意努力。即便如此，许多人预测，从长远来看，滥用这些技术的可能性仍然很大。
Shykevich 说，为了使犯罪分子更难滥用这些技术，开发人员需要训练和改进他们的人工智能引擎，以识别可能以恶意方式使用的请求。他说，另一种选择是实现身份验证和授权要求，才能使用OpenAI引擎。他指出，即使是类似于在线金融机构和支付系统目前使用的东西也足够了。
至于防止犯罪使用ChatGPT，Shykevich 还表示，最终，“不幸的是，必须通过监管来执行。”OpenAI 已经实施了一些控制措施，防止了ChatGPT构建带有违反政策警告的间谍软件的明显请求，尽管黑客和记者已经找到了绕过这些保护措施的方法。Shykevich还说，像OpenAI这样的公司可能不得不在法律上被迫训练他们的AI来检测这种滥用行为。
本文翻译自：https://www.techtarget.com/searchsecurity/news/365531559/How-hackers-can-abuse-ChatGPT-to-create-malware
