近日,亚马逊云科技以“无数据不模型——生成式AI时代的数据基座”为主题召开了媒体沟通会。会上,北京灵奥科技CEO厉启鹏介绍了Vanus如何帮助企业解决数据问题,从而与大模型无缝结合。
北京灵奥科技是一家快速成长的初创企业,致力于推动生成式AI技术的普及,从而加速企业的商业成功。北京灵奥科技坚信AI Agent会成为推动企业业务快速增长的关键力量,并先后推出Vanus Connect、Vanus AI和VanChat三款SaaS产品,为企业提供帮助构建AI Agent的SaaS平台,累计服务全球30,000+用户。
大模型与企业数据的无缝结合
为什么企业难以将自己的业务数据与大模型结合?
首先,对模型的学习能力要求高。企业数据的类型繁多、格式杂乱且来源无法统一,需要模型能够深入理解企业多样化的数据;
第二,对模型感知变化的要求高。业务数据随着企业运营实时变化,模型需要不断学习不同来源、持续变化的业务信息;
第三,模型合规问题。企业既要让模型理解好数据,又需要做到安全合规,不能触碰红线;
第四,模型存在偏见。由于不同的大语言模型由于训练数据来源不同,侧重点有差异,导致模型会存在偏见。
所以厉启鹏认为,数据是企业落地大模型的核心挑战之一,如果有一个中间环节能够帮助用户承上启下,或许就能解决这一痛点。而大模型中间件介于大模型和应用之间,是打通大模型企业端落地最后一公里,是企业构建AI应用的必备组件,更是能够帮助企业解决数据问题的关键。
北京灵奥科技不仅能帮助企业解决数据方面的痛点,还能帮助企业将自己的业务数据与大模型无缝结合:在神经网络层,Vanus Connect可以连接企业不同的数据源,实时感知企业业务事件的变化,并推送给神经中枢,然后接收神经中枢的指令去做执行,从而解决;在神经中枢层,Vanus AI结合知识库(向量数据库)和大模型,帮助企业做业务的决策。
同时,大模型中间件Vanus可以将大模型优势和企业数据无缝结合,为用户提供Claude 3等多模型选择,实现商品数据自动同步,包括商品数据自动更新、Shopify数据自动接入等,还可与网站、钉钉、飞书、企业微信等第三方应用无缝集成。
亚马逊云科技多方面赋能北京灵奥科技
北京灵奥科技帮助企业解决数据难题的背后,离不开亚马逊云科技赋能。北京灵奥科技在成立之初就加入了亚马逊云科技合作伙伴网络(APN),不仅获得了推荐客户和合作伙伴等资源,获得了技术赋能,加速生成式AI产品进入市场。对于一家有诸多不确定因素的初创企业来说,北京灵奥科技受益良多。
从技术方面来说,北京灵奥科技基于亚马逊云科技的基础云服务、大语言模型、数据存储三类云服务,以及亚马逊云科技产品的弹性可扩展、高可用性、低延时、推理能力强等特性构建了Vanus平台。
具体来说,北京灵奥科技利用Amazon Elastic Kubernetes Service(Amazon EKS)基于网络流量的弹性扩展能力,使Vanus AI构建的Agent能够根据用户业务流量平滑弹性伸缩。帮助企业平均成本降低30%,性价比提高20%;
通过Amazon DocumentDB 原生的3可用区、6副本的设计,北京灵奥科技不仅提高系统的可用性和可靠性,还实现了不低于99.99%正常运行时间的服务等级协议(SLA)。
同时,还借助Amazon Simple Storage Service(Amazon S3)及数据库高并发数据查询能力,提高了大模型上下文加载时间;而亚马逊云科技全球网络节点加速的能力使Agent回复系统延时降低40%,大大降低了延时。
通过Amazon Bedrock提供的Claude模型,为Vanus平台的AI Agent提供非常强的语言理解和逻辑推理能力。
通过亚马逊云科技提供的易用以及功能强大的云服务,Vanus遇到的绝大部分技术问题都能在亚马逊云科技上找到答案。除此之外,亚马逊云科技还提供全方位的技术服务,包括技术方案和架构师等,加速Vanus产品落地。
从推广资源和支持角度来说,亚马逊云科技帮助北京灵奥科技加速产品进入市场。厉启鹏表示,由于北京灵奥科技是以技术为驱动的初创公司,所以在运营、市场等方面的资源并不丰富,而且用户对于新品牌需要有认知和接受的过程,这对初创公司来说都是很大的挑战。但是亚马逊云科技合作伙伴网络(APN)帮助北京灵奥科技的产品快速推向市场,得到更多的曝光,同时也认识了很多渠道合作伙伴。
厉启鹏接受采访时表示“特别感谢亚马逊云科技为我们带来确定性,帮助我们构建稳定、强健的数据基座,从而能够轻松面对用户业务的不确定性。”
在未来,亚马逊云科技将持续引领数据基座构建必备的三大核心能力,即模型微调和预训练所需的数据处理能力、利用专有数据与模型快速结合以产生独特价值的能力,以及有效处理新数据以助推生成式AI应用持续快速发展的能力,助力企业在生成式AI时代取得成功,将更多的“不确定”转变为“确定”。