1.综合数据驱动创新
合成数据已经在推动大量创新,我们看到这些创新来自生成型人工智能领域本身,其中有很多较小的模型,它们的能力与OpenAI的GPT等前沿模型相媲美,令人们惊叹不已。他们之所以这样做,是因为他们正在接受由更大模型生成的合成数据的训练。
在医疗保健领域,有一种使用合成数据生成患者队列的想法,我们已经看到一些组织根据潜在的真实患者数据生成关于患者群体的合成数据。这有助于解决有关隐私的问题,我们可以将这些问题用于特定的临床试验。在医学成像领域也有一些关于合成数据生成的有趣用例。
2.企业更多的人工智能模型训练和开发
这一年,该企业建立了人工智能训练能力。我们应该期望看到更多的模型训练和开发,因为基础设施已经就绪。另一方面,这显然不能永远持续下去,因为训练AI模型的唯一目的就是对它进行推理。我们将看到,在2025年的某个时候,推理变得更加重要。
尽管人们正在推理更大的模型,但开发的前沿已经从OpenAI或DeepMind等大型实验室转向开源项目。这导致了令人兴奋的、较小的、通常是针对特定领域的项目的激增,大量的工作是在微调和部分训练技术上。QLoRA将被证明是2023年甚至更长时间内最重要的人工智能论文。因此,我们将看到发展更加民主化。
在今年的最后几个月里,我们看到了人们对手头任务的正确调整模型规模的重视,像微软这样投资于大型前沿模型的企业正在构建小型模型,例如Phi,它在推理方面的内存占用非常小。
我们还看到IBM等硬件企业开始在数据中心和芯片中构建架构,专注于调整模型规模,以处理通常需要大量时间和内存的事务的更小、更低分辨率。
3.“图形数据库之年”
将LLM和所有企业分析工作推向新水平的是将图形功能与矢量搜索功能和矢量化相结合。我们已经可以看到这一点开始浮出水面。在MicrosoftIgnite上,他们谈论了很多关于MicrosoftGraph在支持大型语言模型方面的价值,他们希望每个人都能建立自己的副驾驶。他们之所以认为这是可行的,是因为它结合了给定企业中给定用户在给定日期的给定工作流的知识图谱,再加上像RAG这样的用例来帮助模型理解给定查询的上下文。
4.PC中更多的AI芯片
我们将看到越来越多的个人电脑内置人工智能芯片。英特尔和苹果基本上已经为其他所有人决定了这一点。现在AMD有一个选择,英特尔有一个选择,而高通则对此大肆宣传。我们会看到很多人开发有趣的东西来在本地人工智能方面运行,我认为这尤其是因为有Mac生态系统,它就是一个可以开始的市场。看看这对加速器有何影响将会很有趣。我可以看到一类人工智能开发人员工作站PC的出现,或者现有工作站类别的加速。
5.GPU短缺问题得到缓解
不会再次出现芯片短缺;如果有的话,风险就在另一边。今年在寻找各种事物的第二来源方面做了很多工作。获得GPU的最大障碍是台积电的片上片上基板封装工艺,即cocos。如果你再往前看,台积电既在扩大产能,也在外包部分组装和测试工作。例如,台积电(TSMC)和英伟达(Nvidia)与台湾的联华电子(UMC)签订了生产中间体的合同。三星也打算明年开放3D包装工艺。