文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

必收藏技能!为Java多线程应用程序优化数据存储库

2024-12-24 21:31

关注

[[283519]]

1个参数的n个查询Vs. n个参数的1个查询

假设有一个对关系数据库执行查询的Java应用程序,以便在给定其唯一标识符(id)的情况下检索Product实体(row)。

查询如下所示:

SELECT * FROM PRODUCT WHERE ID =

现在,检索n个Products,有如下两种方法:

 

  1. SELECT * FROM PRODUCT WHERE ID = 
  2.  
  3. SELECT * FROM PRODUCT WHERE ID = 
  4.  
  5. ... 
  6.  
  7. SELECT * FROM PRODUCT WHERE ID = 

 

  1. -- Example using IN OPERATOR 
  2.  
  3. SELECT * FROM PRODUCT WHERE ID IN (, , ..., ) 

后者在网络流量和数据库服务器资源(CPU和磁盘)方面更为有效,因为:

这不仅适用于SELECT操作,而且适用于其他操作,例如 INSERTs,UPDATEs和DELETEs。实际上,JDBC API包括上述操作的批量处理操作。

同样的情况也适用于NoSQL存储库,其中大多都明确提供BULK操作。

 

DelayedBatchExecutor

需要从数据库中检索数据的Java应用程序,如REST微服务或异步消息处理器,通常以多线程应用程序(*1)实现,其中:

在这种场景下,数据库很可能在较短的时间间隔内多次执行相同的查询。

如前所述,如果将1个参数的n个查询替换为具有n个参数的单个等效查询,那么则应用程序将使用较少的数据库服务器和网络资源。

好消息是它可以通过timewindows(时间窗口)的机制来实现,如下所示:

第一个尝试执行查询的线程会打开一个时间窗口,因此其参数被存储在一个列表中,同时该线程被暂停。在时间窗口内执行相同查询的其余线程会将其参数添加到列表中,并且也会被暂停。此时,数据库上未执行任何查询。

时间窗口结束或列表已满(先前已定义最大容量限制)后,将使用列表中存储的所有参数执行单个查询。最后,一旦数据库提供了该查询的结果,每个线程将接收相应的结果,同时所有线程将自动恢复。

笔者构建了一个简单而轻量级的应用机制(DelayedBatchExecutor),很容易在新的或现有的应用程序中使用。它基于Reactor库,并且为参数列表使用超时的Flux缓冲发布器。

 

运用DelayedBatchExecutor的吞吐量和延迟分析

假设针对Products的REST微服务公开了一个端点,用于检索数据库中给定的 productId的Product数据。在没有DelayedBatchExecutor的情况下,如果每秒对端点命中200次,则数据库每秒执行200个查询。如果端点使用的DelayedBatchExecutor 配置了50毫秒的时间窗口且最大容量=10个参数,数据库每秒钟将只执行10个参数的20个查询,代价是每执行一个线程,最多在50毫秒内增加延时(*2)。

换句话说,为了将延时增加50毫秒(* 2),数据库每秒接收的查询减少了10倍,然而保持了系统的整体吞吐量。还不错!!

其他有趣的配置:

 

执行中的DelayedBatchExecutor

深入研究Product微服务示例。假设对于每个传入的HTTP请求,微服务的控制器都要求检索已有id的Product(Java Bean),因此将调用以下方法:

DAO组件(ProductDAO)的public Product getProductById(IntegerproductId) .

以下分别是有和没有 DelayedBatchExecutor的DAO执行。

没有 DelayedBatchExecutor

 

  1. public classProductDAO { 
  2.  
  3. public Product getProductById(Integer id) { 
  4.  
  5. Product product= ...// execute the query SELECT * FROM PRODUCT WHERE ID= 
  6.  
  7. // using your favourite API: JDBC, JPA, Hibernate... 
  8.  
  9. return product; 
  10.  
  11.  
  12. ... 
  13.  

 

有DelayedBatchExecutor

 

  1. // Singleton 
  2.  
  3. publicclass ProductDAO { 
  4.  
  5. DelayedBatchExecutor2 delayedBatchExecutorProductById = 
  6.  
  7. DelayedBatchExecutor.define(Duration.ofMillis(50), 10, this::retrieveProductsByIds); 
  8.  
  9. public Product getProductById(Integer id) { 
  10.  
  11. Product product = delayedBatchExecutorProductById.execute(id); 
  12.  
  13. return product; 
  14.  
  15.  
  16. private List retrieveProductsByIds(List idList) { 
  17.  
  18. List productList = ...// execute query:SELECT * FROM PRODUCT WHERE ID IN (idList.get(0), ..., idList.get(n)); 
  19.  
  20. // using your favourite API: JDBC, JPA, Hibernate... 
  21.  
  22. // The positions of the elements of the list to return must match the ones in the parameters list. 
  23.  
  24. // For instance, the first Product of the list to be returned must be the one with 
  25.  
  26. // the Id in the first position of productIdsList and so on... 
  27.  
  28. // NOTE: null could be used as value, meaning that no Product exist for the given productId 
  29.  
  30. return productList; 
  31.  
  32.  
  33. ... 
  34.  

 

首先,必须在DAO中创建一个DelayedBatchExecutor实例,在本例中为 delayedBatchExecutorProductById。需要以下三个参数:

其次,已经重构了DAO方法 publicProduct getProductById(Integer productId),以简单调用delayedBatchExecutorProductById 实例的execute 方法。所有的“magic”都是由 DelayedBatchExecutor完成的。

之所以delayedBatchExecutorProductById是DelayedBatchExecutor2

如果execute方法需要接收两个参数(例如,一个 Integer和一个String)并返回Product实例,则定义为 DelayedBatchExecutor3

最终,retrieveProductsByIds方法必须返回List 并接收List作为参数。

如果使用的是 DelayedBatchExecutor3

就是这样。

一旦运行,执行控制器逻辑的并发线程会在某时刻调用方法 getProductById(Integerid) ,并且此方法将返回对应的Product。并发线程不知自己已经被 DelayedBatchExecutor暂停并恢复了。

 

由数据存储库延伸的“题外话”

尽管本文与数据存储库有关,但 DelayedBatchExecutor也可以用在其他地方,例如:对REST进行微服务请求。再说,用1个参数启动n个GET请求要比使用n个参数启动1个GET昂贵得多。

DelayedBatchExecutor的优化

笔者创建了 DelayedBatchExecutor并使用了一段时间,有效地解决了个人项目中并发线程启动的多个查询的执行问题。因此相信它对其他人可能也有用处,所以决定将其公开。

话虽如此,DelayedBatchExecutor改进和功能扩展的空间还很大。最有趣的是能够根据执行的特定条件动态更改DelayedBatchExecutor参数(窗口时间和最大容量)的功能,以便在利用带有n个参数的查询时很大程度地减少延时。

来源:读芯术内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯