文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何使用内存中副本提高矢量数据库的读取吞吐量

2024-12-01 12:28

关注

审校 | 孙淑娟

在正式发布之后,Milvus 2.1增加了许多新功能,例如内存副本、支持字符串数据类型、嵌入式Milvus、可调一致性、用户身份验证和传输中的加密,以提供便利和更好的用户体验。虽然内存中副本的概念对于分布式数据库来说并不新鲜,但它是一个关键功能,可以帮助用户轻松提高系统性能、提高数据库读取吞吐量,并提高硬件资源的利用率。

因此,本文首先解释了内存中的副本是什么以及为什么它很重要的原因,然后介绍了如何在人工智能的矢量数据库Milvus中启用这一新功能。  

与内存中副本相关的概念  

在了解内存中副本是什么以及为什么这么重要之前,需要先了解一些相关概念,其中包括副本组、分片副本、流副本、历史副本和分片领导者。下图是这些概念的说明。  

副本概念  

(1)副本组  

副本组由负责处理历史数据和副本的多个查询节点组成。更具体地说,Milvus向量数据库中的查询节点检索增量日志数据,并通过订阅日志代理、从对象存储中加载历史数据以及在向量和标量数据之间运行混合搜索,将其转变成为不断增长的片段。

(2)分片副本  

一个分片副本由一个流副本和一个历史副本组成,它们都属于同一个分片(即数据操作语言通道,在Milvus中缩写为DML通道)。多个分片副本组成一个副本组。并且副本组中的分片副本的确切数量由指定集合中的分片数量决定。  

(3)流副本  

流副本包含来自同一DML通道的所有不断增长的段。不断增长的段不断接收新插入的数据,直到它被密封。从技术上讲,一个流副本应该由一个副本中的一个查询节点提供服务。  

(4)历史副本 

历史副本包含来自同一DML通道的所有密封段。密封段不再接收任何新数据,并将被刷新到对象存储中,将新数据插入到新创建的增长段中。一个历史副本的密封段可以分布在同一副本组内的多个查询节点上。  

(5)分片领导者  

分片领导者是为分片副本中的流式副本提供服务的查询节点。  

什么是内存副本?  

启用内存中副本允许用户将数据加载到多个查询节点上的集合中,以便可以利用额外的CPU和内存资源。换句话说,当在集合中加载数据并指定要将其作为两个副本加载时,最终将在两个查询节点上拥有两个数据副本。如果有一个相对较小的数据集,但希望增加读取吞吐量,并提高硬件资源的利用率,则内存中副本的功能非常有用。  

在默认情况下,Milvus矢量数据库目前在内存中为每个段保存一个副本。但是,使用内存中的副本,用户可以在不同的查询节点上对一个段进行多次复制。这意味着如果一个查询节点正在对某个段进行搜索,则可以将传入的新搜索请求分配给另一个空闲查询节点,因为该查询节点具有完全相同的段的复制。其好处是不必再次重新加载数据。用户无需执行任何操作,空闲查询节点会自动进行搜索或查询,因为该查询节点已经复制并接收了数据。  

此外,如果有多个内存中的副本,可以更好地应对查询节点崩溃的情况。如果没有内存中的副本,则必须等待段重新加载才能继续并在另一个查询节点上搜索。但是,通过内存复制,可以立即将搜索请求重新发送到新的查询节点,而无需再次重新加载数据,如下图所示: 

内存中的副本  

为什么内存中的副本很重要?  

启用内存中副本的最显著好处之一是整体QPS(每秒查询数)和吞吐量的增加。如果在使用Milvus矢量数据库时启用了内存中的副本,将能够看到系统性能的巨大飞跃。此外,使用内存中的副本,可以维护多个段副本,并且系统在面对故障转移时更具弹性,就像上面的示例一样。  

在Milvus矢量数据库中启用内存中的副本  

在Milvus矢量数据库中启用内存中副本的新功能很容易。需要做的只是在加载集合时指定所需的副本数量(即调用collection.load( ))。  

在下面的教程中,将使用包含书籍信息的集合的示例。假设已经创建了一个名为“book”的集合,并将数据插入其中。然后,可以指定在加载集合数据时要创建的副本数。下面的示例代码将集合加载为两个副本。  

from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.load(replica_number=2) # load collection as 2 replicas

用户可以灵活修改上述示例代码中的副本数,以最适合应用场景。然后可以直接对多个副本进行向量相似性搜索或查询,而无需运行任何额外的命令。但是,应该注意,允许的最大副本数受到运行查询节点的可用内存总量的限制。如果指定的副本数量超过可用内存的限制,则在数据加载期间将返回错误。

用户还可以通过运行collection.get_replicas()检查其创建的内存中副本的信息。将返回副本组的信息以及相应的查询节点和分片。以下是输出示例:  

Replica groups:
- Group: <group_id:435309823872729305>, <group_nodes:(21, 20)>, <shards:[Shard: <channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0>, <shard_leader:21>, <shard_nodes:[21]>, Shard: <channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1>, <shard_leader:20>, <shard_nodes:[20, 21]>]>
- Group: <group_id:435309823872729304>, <group_nodes:(25,)>, <shards:[Shard: <channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1>, <shard_leader:25>, <shard_nodes:[25]>, Shard: <channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0>, <shard_leader:25>, <shard_nodes:[25]>]>

原文Increase Your Vector Database Read Throughput with In-Memory Replicas​,作者:Angela Ni​

来源:51CTO内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯