文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

ChatGPT 和大型语言模型:有什么风险?

2024-11-30 16:36

关注

与任何新兴技术一样,人们总是担心这对安全意味着什么。该博客在近期更广泛地考虑了 ChatGPT 和 LLM 的一些网络安全方面。

什么是 ChatGPT,什么是LLMs?

ChatGPT 是由美国科技初创公司 OpenAI 开发的人工智能聊天机器人。它基于GPT-3,这是一种于 2020 年发布的语言模型,它使用深度学习来生成类似人类的文本,但底层的 LLM 技术已经存在了很长时间。

法学硕士是算法在大量基于文本的数据上进行训练的地方,这些数据通常是从开放的互联网上抓取的,因此涵盖了网页和——取决于法学硕士——其他来源,如科学研究、书籍或社交媒体帖子. 这涵盖了如此大量的数据,以至于不可能在摄取时过滤掉所有令人反感或不准确的内容,因此“有争议的”内容很可能包含在其模型中。

这些算法分析不同单词之间的关系,并将其转化为概率模型。然后可以给算法一个“提示”(例如,通过问它一个问题),它会根据其模型中单词的关系提供答案。

通常,其模型中的数据在训练后是静态的,尽管它可以通过“微调”(对额外数据进行训练)和“提示增强”(提供有关问题的上下文信息)进行改进。提示增强的示例可能是:

Taking into account the below information, how would you describe...

然后将可能大量的文本(或整个文档)复制到提示/问题中。

ChatGPT有效地允许用户向 LLM 提问,就像您在与聊天机器人进行对话时一样。最近的其他 LLM 示例包括Google 的 Bard和Meta 的 LLaMa(用于科学论文)的公告。

法学硕士无疑令人印象深刻,因为它们能够以多种人类和计算机语言生成大量令人信服的内容。然而,它们不是魔法,也不是通用人工智能,并且包含一些严重的缺陷,包括:

LLM 会泄露我的信息吗?

一个普遍的担忧是 LLM 可能会从您的提示中“学习”,并将该信息提供给查询相关内容的其他人。这里有一些令人担忧的原因,但不是出于许多人考虑的原因。当前,对 LLM 进行训练,然后查询生成的模型。LLM 不会(在撰写本文时)自动将查询中的信息添加到其模型中以供其他人查询。也就是说,在查询中包含信息不会导致该数据被并入 LLM。

但是,查询将对提供 LLM 的组织可见(对于 ChatGPT,对 OpenAI 也是如此)。这些查询被存储起来,几乎肯定会在某个时候用于开发 LLM 服务或模型。这可能意味着 LLM 提供者(或其合作伙伴/承包商)能够读取查询,并可能以某种方式将它们合并到未来的版本中。因此,在提出敏感问题之前,需要彻底了解使用条款和隐私政策。

一个问题可能是敏感的,因为查询中包含数据,或者因为谁(以及何时)提出问题。后者的例子可能是,如果发现 CEO 曾问过“如何最好地解雇员工?”,或者有人问了暴露健康或人际关系的问题。还要记住使用同一登录名跨多个查询聚合信息。

另一个风险随着越来越多的组织生产 LLM 而增加,它是在线存储的查询可能被黑客攻击、泄露,或者更有可能意外地公开访问。这可能包括潜在的用户身份信息。另一个风险是 LLM 的运营商后来被一个组织收购,该组织采用与用户输入数据时不同的隐私方法。

因此,NCSC 建议:

我如何安全地向 LLM 提供敏感信息?

随着 LLM 的兴起,许多组织可能想知道他们是否可以使用 LLM 来自动化某些业务任务,这可能涉及通过微调或及时扩充来提供敏感信息。虽然不建议将此方法用于公共 LLM,但“私有 LLM”可能由云提供商提供(例如),或者可以完全自行托管:

LLMs是否让网络罪犯的生活更轻松?

已经有一些令人难以置信的演示证明 LLM 如何帮助编写恶意软件。令人担忧的是,LLM 可能会帮助怀有恶意(但技能不足)的人创建他们原本无法部署的工具。在他们目前的状态下,LLMs 看起来令人信服(无论他们是否),并且适合简单的任务而不是复杂的任务。这意味着 LLM 可用于“帮助专家节省时间”,因为专家可以验证 LLM 的输出。

对于更复杂的任务,专家目前更容易从头开始创建恶意软件,而不必花时间纠正 LLM 生成的内容。但是,能够创建功能强大的恶意软件的专家很可能能够诱使 LLM 编写功能强大的恶意软件。“使用 LLM 从头开始创建恶意软件”和“验证 LLM 创建的恶意软件”之间的权衡将随着 LLM 的改进而改变。

也可以询问LLM以就技术问题提出建议。犯罪分子可能会使用 LLM 来帮助进行超出其当前能力的网络攻击,尤其是在攻击者访问网络后。例如,如果攻击者正在努力提升权限或查找数据,他们可能会询问 LLM,并收到与搜索引擎结果不同但具有更多上下文的答案。当前的 LLM 提供了听起来令人信服的答案,但可能只是部分正确,尤其是当该主题变得更加利基时。这些答案可能会帮助犯罪分子进行他们无法以其他方式执行的攻击,或者他们可能会建议采取哪些行动来加快对犯罪分子的侦查。无论哪种方式,攻击者的查询都可能被 LLM 操作员存储和保留。

由于 LLM 擅长按需复制写作风格,因此存在犯罪分子使用 LLM 编写令人信服的网络钓鱼电子邮件(包括多种语言的电子邮件)的风险。这可以帮助具有高技术能力但缺乏语言技能的攻击者,帮助他们使用目标的母语创建令人信服的网络钓鱼电子邮件(或进行社会工程)。

总而言之,在短期内我们可能会看到:

技能较低的攻击者编写功能强大的恶意软件的风险也很低。

总结

对于LLM来说,这是一个激动人心的时刻,尤其是 ChatGPT 吸引了全世界的想象力。与所有技术发展一样,会有人热衷于使用它并研究它所提供的功能,以及可能永远不会使用它的人。

正如我们在上面概述的那样,毫无疑问,不受限制地使用公共 LLM 存在风险。个人和组织应格外小心他们选择在提示中提交的数据。您应该确保那些想要尝试 LLM 的人能够,但不会将组织数据置于风险之中。

NCSC 意识到与网络安全和 LLM 的采用有关的其他新出现的威胁(和机会),我们当然会在以后的博文中让您了解这些。

David C - 平台研究技术总监Paul J - 数据科学研究技术总监

——编译自英国NCSC

来源:河南等级保护测评内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯