求职网站Indeed最近进行了一项测试，以确定LLM在处理基本工作技能方面的效果。Indeed招聘实验室注册了OpenAI最新的LLM项目GPT-4o，并要求它执行Indeed数据库中追踪的2800多种工作技能，从账户管理和保险索赔等办公室工作，到公交车司机和厨师等偏重体力的工作。
对于每一项工作技能，Indeed招聘实验室设置了一种方法来衡量LLM任务完成程度。他们为每个任务创建了复杂的1000字提示，这需要大量的试验和错误。在最终确定最佳提示后，招聘实验室的工作人员将该提示用GPT-4o运行了15次，然后汇总结果。GPT-4o被要求在每个提示下评估自己的能力，最终结果由人类研究人员验证。
招聘实验室将实验重点放在三个主要领域，包括GenAI提供与该技能相关的理论知识的能力；GenAI使用技能解决问题的能力；以及GenAI在使用该技能中的重要性的确定。GPT-4o以五分制分析了自己在给定作业中利用这些属性的能力。研究人员将结果制成表格，并于上周发表在一篇名为《工作中的人工智能：为什么GenAI更有可能支持员工而不是取代他们》的论文中。
这个是对Indeed在GenAI实验中一个很大发现。该报告的作者Annina Hering和Arcenis Rojas写道，在2800项人类工作技能中，没有一项“很可能”被GPT-4o或任何其他LLM所取代。事实上，Indeed发现近69%的技能“不太可能”或“非常不可能”被GenAI取代。
显然，需要动手执行或应用体力的工作，如公共汽车司机或急诊室护士，不会被GenAI取代（自动驾驶公共汽车和机器人辅助手术正在发展，但它们也需要更多的技术，而不仅仅是GenAI)。考虑到这份报告中涉及的一半以上的工作需要某种形式的体力劳动， GenA I完全取代人类的前景看起来相当渺茫。
但这并不是说没有好处。Hering和Rojas写道，即使是公交车司机或护士这样的工作，GenAI也可以帮助完成其中重复性的任务，比如文件编制，这将“让员工重新专注于这些角色所需的核心技能”。
研究人员得出的结论是，“随着GenAI的不断改进，如果工作场所和/或工作规范发生某些变化”，大约29%的工作岗位“有可能”被GenAI取代。研究人员写道，GenAI影响最大的工作是“更为刻板的办公室工作”。
横跨三个领域的研究核心——理论知识；解决问题；以及物理工作技能——GenAI最擅长的是理论知识，其次是解决问题的能力。事实上，理论知识是GenAI给自己5分的唯一属性，这是最高分，这要归功于LLM对网络上大量信息的广泛培训，以及使用搜索引擎的能力。
GPT-4o在解决问题方面得分也不错。在评估的70%的技能中，它给自己打了3分，在其中28%的任务中，它表示自己“有可能”取代人类。它也得到了几个45分，并认为自己“很可能”取代人类完成3%的任务。
人工智能最有可能在办公室工作和主要在计算机上完成的工作中取代人类。例如，研究人员得出的结论是，GenAI“有可能”或“很有可能”取代人类，取代软件开发工作岗位上超过71%的常见技能。同样，报告称，在典型的会计职业中，GenAI “有可能”或“有可能”取代人类掌握78%的技能。
在需要解决更多问题而不是理论知识的工作中，GenAI不太可能取代人类。这是GenAI开发人员和数据科学家可能希望集中精力的领域。“如果GenAI模型在更多的工作中提高了解决更多技能问题的能力，那么在这些工作中，最终可能被取代的技能比例也会上升。“
公司可以做一些事情来帮助他们为GenAI做准备。例如，在会计领域，对电子记录保存和数字化的投资将大大有助于公司成功使用GenAI。
微调一个人与GenAI的互动也可以产生更好的结果。例如，一个松散的提示符可以被LLM以多种方式解释，每次被问到它时，它可能会给出不同的答案。更高级的任务将需要更好的快速写作和快速工程技能，才能最大限度地利用GenAI。
GenAI似乎至少会取代人类工人现在所做的一些任务，随着行业和职位的不同而有很大的变化。然而，Indeed的研究人员并不认为GenAI在不久的将来会大规模取代人类，原因很简单，因为目前的GenAI没有人类就无法运作。“即使GenAI进化并学会完成要求苛刻的任务，监督、指导和纠正GenAI输出的人类也不会轻易被取代。”
