与任何新兴技术一样,人们总是担心这对安全意味着什么。该博客在近期更广泛地考虑了 ChatGPT 和 LLM 的一些网络安全方面。
什么是 ChatGPT,什么是LLMs?
ChatGPT 是由美国科技初创公司 OpenAI 开发的人工智能聊天机器人。它基于GPT-3,这是一种于 2020 年发布的语言模型,它使用深度学习来生成类似人类的文本,但底层的 LLM 技术已经存在了很长时间。
法学硕士是算法在大量基于文本的数据上进行训练的地方,这些数据通常是从开放的互联网上抓取的,因此涵盖了网页和——取决于法学硕士——其他来源,如科学研究、书籍或社交媒体帖子. 这涵盖了如此大量的数据,以至于不可能在摄取时过滤掉所有令人反感或不准确的内容,因此“有争议的”内容很可能包含在其模型中。
这些算法分析不同单词之间的关系,并将其转化为概率模型。然后可以给算法一个“提示”(例如,通过问它一个问题),它会根据其模型中单词的关系提供答案。
通常,其模型中的数据在训练后是静态的,尽管它可以通过“微调”(对额外数据进行训练)和“提示增强”(提供有关问题的上下文信息)进行改进。提示增强的示例可能是:
Taking into account the below information, how would you describe...
然后将可能大量的文本(或整个文档)复制到提示/问题中。
ChatGPT有效地允许用户向 LLM 提问,就像您在与聊天机器人进行对话时一样。最近的其他 LLM 示例包括Google 的 Bard和Meta 的 LLaMa(用于科学论文)的公告。
法学硕士无疑令人印象深刻,因为它们能够以多种人类和计算机语言生成大量令人信服的内容。然而,它们不是魔法,也不是通用人工智能,并且包含一些严重的缺陷,包括:
- 他们可能会弄错事情并“产生幻觉”不正确的事实
- 他们可能有偏见,通常容易上当受骗(例如,在回答主要问题时)
- 他们需要巨大的计算资源和海量数据来从头开始训练
- 他们可以被哄骗创造有毒内容并且容易受到“注射攻击”
LLM 会泄露我的信息吗?
一个普遍的担忧是 LLM 可能会从您的提示中“学习”,并将该信息提供给查询相关内容的其他人。这里有一些令人担忧的原因,但不是出于许多人考虑的原因。当前,对 LLM 进行训练,然后查询生成的模型。LLM 不会(在撰写本文时)自动将查询中的信息添加到其模型中以供其他人查询。也就是说,在查询中包含信息不会导致该数据被并入 LLM。
但是,查询将对提供 LLM 的组织可见(对于 ChatGPT,对 OpenAI 也是如此)。这些查询被存储起来,几乎肯定会在某个时候用于开发 LLM 服务或模型。这可能意味着 LLM 提供者(或其合作伙伴/承包商)能够读取查询,并可能以某种方式将它们合并到未来的版本中。因此,在提出敏感问题之前,需要彻底了解使用条款和隐私政策。
一个问题可能是敏感的,因为查询中包含数据,或者因为谁(以及何时)提出问题。后者的例子可能是,如果发现 CEO 曾问过“如何最好地解雇员工?”,或者有人问了暴露健康或人际关系的问题。还要记住使用同一登录名跨多个查询聚合信息。
另一个风险随着越来越多的组织生产 LLM 而增加,它是在线存储的查询可能被黑客攻击、泄露,或者更有可能意外地公开访问。这可能包括潜在的用户身份信息。另一个风险是 LLM 的运营商后来被一个组织收购,该组织采用与用户输入数据时不同的隐私方法。
因此,NCSC 建议:
- 不要在对公共 LLM 的查询中包含敏感信息
- 不要向公开的 LLM 提交会导致问题的查询
我如何安全地向 LLM 提供敏感信息?
随着 LLM 的兴起,许多组织可能想知道他们是否可以使用 LLM 来自动化某些业务任务,这可能涉及通过微调或及时扩充来提供敏感信息。虽然不建议将此方法用于公共 LLM,但“私有 LLM”可能由云提供商提供(例如),或者可以完全自行托管:
- 对于云提供的 LLM,使用条款和隐私政策再次成为关键(因为它们对于公共 LLM),但更有可能符合云服务的现有条款。组织需要了解如何管理用于微调或提示扩充的数据。供应商的研究人员或合作伙伴是否可以使用它?如果是这样,以什么形式?数据是单独共享还是与其他组织汇总共享?提供商的员工在什么情况下可以查看查询?
- 自托管 LLM可能非常昂贵。但是,经过安全评估,它们可能适合处理组织数据。特别是,组织应参考我们关于保护基础设施和数据供应链的指南。
LLMs是否让网络罪犯的生活更轻松?
已经有一些令人难以置信的演示证明 LLM 如何帮助编写恶意软件。令人担忧的是,LLM 可能会帮助怀有恶意(但技能不足)的人创建他们原本无法部署的工具。在他们目前的状态下,LLMs 看起来令人信服(无论他们是否),并且适合简单的任务而不是复杂的任务。这意味着 LLM 可用于“帮助专家节省时间”,因为专家可以验证 LLM 的输出。
对于更复杂的任务,专家目前更容易从头开始创建恶意软件,而不必花时间纠正 LLM 生成的内容。但是,能够创建功能强大的恶意软件的专家很可能能够诱使 LLM 编写功能强大的恶意软件。“使用 LLM 从头开始创建恶意软件”和“验证 LLM 创建的恶意软件”之间的权衡将随着 LLM 的改进而改变。
也可以询问LLM以就技术问题提出建议。犯罪分子可能会使用 LLM 来帮助进行超出其当前能力的网络攻击,尤其是在攻击者访问网络后。例如,如果攻击者正在努力提升权限或查找数据,他们可能会询问 LLM,并收到与搜索引擎结果不同但具有更多上下文的答案。当前的 LLM 提供了听起来令人信服的答案,但可能只是部分正确,尤其是当该主题变得更加利基时。这些答案可能会帮助犯罪分子进行他们无法以其他方式执行的攻击,或者他们可能会建议采取哪些行动来加快对犯罪分子的侦查。无论哪种方式,攻击者的查询都可能被 LLM 操作员存储和保留。
由于 LLM 擅长按需复制写作风格,因此存在犯罪分子使用 LLM 编写令人信服的网络钓鱼电子邮件(包括多种语言的电子邮件)的风险。这可以帮助具有高技术能力但缺乏语言技能的攻击者,帮助他们使用目标的母语创建令人信服的网络钓鱼电子邮件(或进行社会工程)。
总而言之,在短期内我们可能会看到:
- 由于 LLM,更有说服力的网络钓鱼电子邮件
- 攻击者尝试他们以前不熟悉的技术
技能较低的攻击者编写功能强大的恶意软件的风险也很低。
总结
对于LLM来说,这是一个激动人心的时刻,尤其是 ChatGPT 吸引了全世界的想象力。与所有技术发展一样,会有人热衷于使用它并研究它所提供的功能,以及可能永远不会使用它的人。
正如我们在上面概述的那样,毫无疑问,不受限制地使用公共 LLM 存在风险。个人和组织应格外小心他们选择在提示中提交的数据。您应该确保那些想要尝试 LLM 的人能够,但不会将组织数据置于风险之中。
NCSC 意识到与网络安全和 LLM 的采用有关的其他新出现的威胁(和机会),我们当然会在以后的博文中让您了解这些。
——编译自英国NCSC