策划 | 徐杰承
与开发人员信任的其他软件开发工具不同，AI工具在训练、构建、托管和使用方式等方面都存在一些独特的风险。
自2022年底ChatGPT发布以来，互联网上便充斥着对其几乎相同比例的支持和怀疑的论调。不管你是否喜欢它，AI正在逐步进入你的开发组织。即使你不打算开发人工智能产品，也不打算利用AI工具为你编写代码，它仍可能被集成到用于构建、测试和运行源代码的工具和平台中。
AI工具存在一些较为特殊的风险，这些风险可能会使自动化任务所带来的生产力收益受到影响。而这些风险主要源于AI的训练、构建、托管和使用方式，AI工具在这些方面与开发人员信任的其他工具存在诸多不同之处。了解风险是管理风险的第一步，为了帮助你了解AI工具的潜在风险，我们设计了一些面向AI工具的面试问题，这些问题能够决定该工具是否能顺利“入职”你的公司。
总体而言，所有的的AI工具都存在一定的共性，无论人工智能的类型或用途如何，在选择使用它之前，都应提出如下问题：
- 这款AI工具的基础设施在什么位置？现代人工智能无一不需要专用且昂贵的硬件进行支持。除非你打算收购一个新的数据中心；否则你的AI工具将只能进行远程工作，并需要使用远程访问和非现场数据存储，而这将造成一定的安全隐患。
- 在代码离开处理边界时，采取什么样的保护措施来防止IP丢失？从智能电视到智能汽车，一切人工智能产品都在向其制造商贡献数据。一些企业使用这些数据来优化他们的软件，但另一些企业会将这些数据卖给广告商。因此，你有必要准确了解AI工具将如何使用或处理其用于主要任务的源代码或其他私有数据。
- 你的输入能够用于模型的训练任务吗？人工智能模型的持续训练是模型所有企业以及模型训练人员非常关注的任务。例如，模型所有企业往往不希望广告商过多介入其模型训练环节，以达到免费的广告推送的目的。
- 结果的准确度是多少？ChatGPT最致命的缺点是其结果的不准确性。它在生成谎言和真理方面表现都很突出；这被称为AI幻觉。了解人工智能可能产生错误的方式和场景，有助于在AI工具发生错误时进行管理。
除此之外，人工智能所有企业和开发者会存在自己的一系列安全问题。这些新的担忧包括对人工智能训练模型的威胁，这些威胁可能会破坏其结果，并泄露有关模型运行方式的专有信息，以及可能会破坏模型生成结果的质量。此外，人工智能模型必须通过API、Web访问、移动应用程序和其他需要安全构建的应用程序与传统世界进行交互。
除一般问题外，开发人员在使用AI工具时还必须提出其他方面的问题，如使用AI安全扫描程序，以便管理软件开发过程中引入的风险。
- AI工具是否适合应用于此类场景？了解人工智能不擅长什么是十分关键的。例如，如果一项任务可以细分为“根据学习规则做出决定”或“编写符合学习规则的内容”；那么，人工智能通常很擅长此类任务。如果问题的变化超越此范围，人工智能可能会表现得很糟糕。
- 如果AI工具出现错误，该采取什么保护措施？千万不要在你的过程中引入一个单一的失败点，尤其是一个可能产生幻觉的失败点。推荐的做法应当是，依靠与深度防御相关的传统做法，或管理风险的方法——即系统中的一层产生了问题，下一层也会捕获它。
- 审查工具结果需要如何进行监督？其实这是一个旧事重提的问题。传统的问题日志捕获方案通常分为两部分：第一个是获取重要事件的数据；第二个是审核日志。在人工智能进一步成熟，其缺陷得到理解或缓解之前，人类仍需要保持对于循环的控制。
如今，越来越多的开发人员“雇佣”ChatGPT来编写源代码。初步报告显示，ChatGPT能够用多种编程语言编写源代码，并且能够流利地使用所有常见的语言。由于当前这个测试版的训练和模型还存在一定的局限性，所以它产生的代码并不总是完美的。它通常包含可以改变软件运行方式的业务逻辑缺陷、可能会混合不同版本软件的语法错误以及其他看似人性化的问题。
大致上来看，ChatGPT仅是一个初级程序员。那么，谁会成为它的上级？
换句话说，ChatGPT也就是一个初级开发人员水平。因此，当使用这个初级开发人员编写的代码时，必须考虑如何管理它：
- 谁将成为其上级，以保障其编写代码的整体效果？初级开发人员通常都需要高级开发人员的协助。每一行代码都必须经过测试，有些代码必须修复。然而，有报告表明，这种校对过程比从头开始编写代码更加耗时、更加复杂。
- 它是将训练代码注入还是重新混合到代码库中？一个更隐蔽的威胁是，有时像GitHub Copilot这样的人工智能机器人会产生源代码，完美地复制训练数据中的代码块。因此，需要利用反剽窃工具来确保许可证风险得到管理。
- AI工具从哪里获得训练数据？一个人工智能模型的能力水平与它的训练数据密切相关。如果AI使用旧的或不正确的代码进行训练，那么它将产生旧的和不正确的结果。
- 引擎托管在哪里？分析源代码的AI机器人需要将源代码整合到其相应的处理设备中。在离开公司管控后，应特别考虑如何保护、使用和处置数据。
无论如何，2022年12月发布的ChatGPT预示着软件开发的新时代。关注这类工具的变化而不是被它们击败是很重要的。在采用这些新工具时要明确，事情变化越多，就越该保持不变：预防安全事件总比发现意外要好。
原文链接：https://thenewstack.io/hiring-an-ai-tool-to-code-what-to-ask-at-the-interview/
