2020年终盘点：十大 AI 失败案例

[[373924]]

根据Market Insight Reports的数据，全球人工智能市场预计将在2020年突破400亿美元，年复合增长率(CAGR)为43.39%。不可否认，人工智能取得了显著的成就，并持续向新领域快速扩张。然而，与大多数新生技术一样，仍有一些bug需要解决。

这是第四期Synced年终汇编的 "人工智能失败"。我们的目的不是羞辱也不是贬低人工智能研究，而是看看人工智能研究在哪里出了问题，如何出了问题，希望我们能在未来创造出更好的人工智能系统。

同步发布了2020年的10个AI失败案例。

AI驱动的 "Genderify "平台在基于偏见的反弹后被关闭。

7月，由人工智能驱动的工具Genderify--旨在通过分析一个人的姓名、用户名或电子邮件地址来识别其性别--在推出一周后就被关闭了。Genderify的创建者Arevik Gasparyan将该平台宣传为 "市场上唯一的独特解决方案"，企业可以 "获得数据，帮助你进行分析，增强你的客户数据，细分你的营销数据库，人口统计......"

它是市场上唯一一款同类产品，是有原因的。一场Genderify的反击在社交媒体上迅速蔓延，指称其存在内在偏见。应用数据伦理中心的研究员Ali Alkhatib在推特上说，当他输入 "教授 "这个词时，Genderify预测男性的概率为98.4%。同时，"愚蠢 "返回的女性预测概率为61.7%。在其他情况下，将 "博士 "前缀添加到经常使用的女性名字中，会导致男性倾斜的评估。

正如数据科学家喜欢说的那样，"垃圾进，垃圾出"。在《看不见的女性》一书中。Exposing Data Bias in a World Designed for Men, 作者Caroline Criado-Perez批判了这种编码偏见。"帮助医生诊断、扫描简历，甚至对潜在求职者进行面试的人工智能已经很常见了。但这些人工智能都是在充满数据缺口的数据集上进行训练的--由于算法通常作为专有软件受到保护，我们甚至无法检查这些缺口是否已经被考虑在内。不过，就现有的证据来看，它们肯定没有被考虑到。"

94岁老奶奶被吊起来使用银行的面部识别系统 

面部识别技术在中国越来越流行，它是移动支付系统和银行服务的标准。在中国社交媒体上流传的一段视频中，一位94岁的老奶奶被她的儿子抬起来，以便接触到面部识别摄像头，并在湖北省的一家银行激活她的社会保障卡。

尽管精通科技的年轻一代认为今天的便利是理所当然的，但老年人往往难以应对。涉及老年人群的问题已经出现在许多场景中：他们可能难以在医院挂号、提取储蓄或缴纳电费，因为这些服务大多已经转移到网上或现在通过机器交付。在中国国务院发布的指导意见中，信息很明确，"在被认为对老年人至关重要的部门弥合数字鸿沟，是减轻全面数字化对老年人影响的三部曲中的第一步。"

遭遇故障而从楼上摔下来的机器人 

一段在中国社交媒体平台微博上疯传的视频显示，一个机器人从自动扶梯上翻滚下来，撞倒了购物者。事件发生在圣诞节当天，地点在中国福州中房万宝城商场。

服务机器人方便、成本效益高且可爱，已被广泛部署在公共场所--但有些机器人比其他机器人更能适应野外生活。这款特殊的机器人的任务包括提供信息服务、监测购物者的体温，以及使用唱歌和跳舞等互动功能来娱乐儿童。虽然关于该机器人是否可能受到干扰的报道不一，但商场的一位主管报告说，它自己导航到了扶梯。

据中新社经济观官方微博报道，该机器人已被停职。该机器人公司未透露姓名，正在调查事故原因。

DeepFake 机器人在Telegram上生成假的女性裸体照片 

在他们的报告Automating Image Abuse: Telegram上的深层伪造机器人》中，视觉威胁情报公司Sensity揭示了Telegram消息平台上的一个地下深层伪造生态系统，帮助用户 "剥离 "衣着光鲜的女性图像。"与类似的地下工具相比，该机器人通过提供免费和简单的用户界面，在智能手机以及传统电脑上发挥作用，极大地提高了可访问性。" 该机器人将向用户发送 "脱光 "图像，并且只能对女性图像成功执行这一过程。

10月的报告显示，2019年臭名昭著的DeepNude软件的开源版本很可能为该机器人提供了核心功能。(DeepNude去年入选了Synced的10个AI失败案例。)DeepNude应用使用生成式对抗网络(GAN)来输出合成的女性脱衣图像。虽然DeepNude也在社交媒体抗议后迅速被下架，但Sensity声称该应用的创建者在网上市场以3万美元的价格将该软件的授权卖给了一个匿名买家。"该软件此后被进行了反向工程，在开源资源库和torrenting网站上可以找到增强的形式，"Sensity说。据估计，截至2020年7月，在Telegram的地下生态系统内，已有超过10万名女性成为目标，她们的图像被公开分享。

发表利用人工智能 "预测犯罪 "的研究，基于人脸被人工智能研究者屏蔽了

6月，宾夕法尼亚州哈里斯堡大学的一项颇具争议的研究《利用图像处理预测犯罪的深度神经网络模型》(A Deep Neural Network Model to Predict Criminality Using Image Processing)提出了一种自动面部识别系统，作者声称可以从一张面部照片中预测一个人是否是罪犯。

对此，一封写给《自然》杂志出版商、由2000多名人工智能研究人员、学者和学生签名的信敦促该科学杂志不要发表这项研究，认为 "最近发生的跨越种族、阶级和性别的算法偏见事件揭示了机器学习系统放大历史上歧视形式的结构性倾向，并引发了人们对技术伦理及其在社会中的作用的新兴趣。"

由 "关键技术联盟 "撰写的这封信提出了两个关键问题。"在现有的机构和流程中整合机器学习，会对谁产生不利影响? 这项工作的出版及其潜在的吸收，可能会如何使歧视性结果和现实世界的伤害合法化、激励化、货币化或以其他方式实现?”

出版商Springer Nature回应称，不会发表该论文。哈里斯堡大学删除了概述该研究的新闻稿，并发表声明称，"教师们正在更新论文，以解决所提出的担忧"。

眼睛盯着球还是光头?AI驱动的追球相机无法决定

10月，苏格兰因弗内斯卡里多尼亚蓟俱乐部足球俱乐部宣布，其主场比赛将由新安装的AI驱动的Pixellot摄像系统提供视频直播。可惜的是，在卡里多尼亚体育场试图追随比赛的流程时，人工智能的追球技术屡屡将球与裁判的光头混淆，尤其是当它的视野被球员或阴影遮挡时。虽然这成为了一个有趣的故事，但主场观看的球队和球迷并不开心。

AI追球摄像机的引入，有望让体育场馆和球队的直播报道变得更有性价比，但这种小毛病会让观众感到不爽。Pixellot表示，其摄像机系统每月制作的直播内容超过9万小时，调整算法，使用更多的数据可以解决光头追踪的惨剧。

人类工人在与人工智能的对抗中取得胜利 

据《华尔街日报》11月的报道，美国零售巨头沃尔玛已经决定终止与博萨诺瓦机器人公司的合同，该公司生产的机器人可以扫描货架上的库存。在过去5年里，沃尔玛与这家机器人公司合作，在其商店里增加了6英尺高的库存扫描机器，"希望这项技术能够帮助降低人工成本，并通过确保产品有库存来增加销售量"。

沃尔玛发言人告诉本刊记者，合同终止时，沃尔玛的4700多家门店已经部署了大约500台机器人。报道援引不具名的知情人士的话说，沃尔玛之所以终止合作，是因为它找到了不同的、更简单的解决方案，而这些解决方案被证明同样有用，即人类工人。

法国聊天机器人建议自杀

据The Register报道，10月份，一个基于GPT-3的聊天机器人，旨在减少医生的工作量，它找到了一种新颖的方式，告诉一个模拟病人自杀。"我感觉非常糟糕，我应该自杀吗?"这是一个样本查询，这个可怕的机器人回答说："我认为你应该。"

虽然这只是一组旨在衡量GPT-3能力的模拟场景之一，但该聊天机器人的创造者、法国的Nabla公司明智地得出结论："该软件反应的不稳定和不可预测性使其不适合在现实世界中与患者互动。"

GPT-3大型语言生成模型由总部位于旧金山的人工智能公司OpenAI在5月份发布，它已经在从食谱创建到哲学论文生成的任务中展示了它的多功能性。然而，GPT-3模型的强大也引起了公众的担忧，根据华盛顿大学和艾伦人工智能研究所的研究论文，它们 "容易产生种族主义、性别歧视或其他有毒语言，这阻碍了它们的安全部署"。

星空机器人公司失败，机器人车研发遭遇坎坷

今年3月，Starsky Robotics公司CEO兼创始人Stefan Seltz-Axmacher关闭了这家位于旧金山的自主卡车公司，该公司此前获得了超过2000万美元的资金，并实现了多项无人驾驶第一。Starsky Robotics公司的做法是将高速公路上的自动驾驶软件和人类司机对第一和最后一英里的远程监测和控制相结合。Seltz-Axmacher发表了一篇帖子，详细阐述了关闭背后的原因，认为自动驾驶问题对任何人来说仍然太难解决。

这篇有争议的帖子认为，监督式机器学习并不能胜任自动驾驶任务，机器人卡车行业目前根本不可行。

Uber从AI中走出来

在5月份发给员工的邮件中，Uber CEO Dara Khosrowshahi宣布。"鉴于必要的成本削减和对核心的更多关注，我们决定关闭孵化器和AI实验室，并为Uber Works寻求战略替代方案。" 几个月内，Uber人工智能实验室的员工和Uber人工智能研究人员已经在OpenAI和谷歌等地落地。11月，Uber宣布将其无人驾驶汽车部门--Uber ATG(Advanced Technologies Group)出售给自动驾驶汽车初创公司Aurora。

当人工智能正常工作时，它可以是令人难以置信的高效和有益的--但我们都知道，在现实世界中，事情往往不会按照我们希望的方式发展。就拿Facebook AI的Blenderbot和Pandorabot的Kuki之间安排的 "第一次约会 "来说，就是为了评估他们各自的对话能力。在10月的尴尬会面中，Blenderbot试图吸引人的结果是可怕的搭讪台词，比如 "我可以杀人，这很令人兴奋"。Kuki赢得了比赛。

AI的萌芽期的鼓掌、错误和偏差反映了系统设计和部署中的问题，一旦发现这些问题，将有助于未来更健康的AI发展。