文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

怎么配置Spring Batch批处理失败重试

2024-04-02 19:55

关注

本篇内容介绍了“怎么配置Spring Batch批处理失败重试”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

 1. 引言

默认情况下,Spring批处理作业在执行过程中出现任何错误都会失败。然而有些时候,为了提高应用程序的弹性,我们就需要处理这类间歇性的故障。在这篇短文中,我们就来一起探讨  如何在Spring批处理框架中配置重试逻辑。

2. 简单举例

假设有一个批处理作业,它读取一个CSV文件作为输入:

username, userid, transaction_date, transaction_amount sammy, 1234, 31/10/2015, 10000 john, 9999, 3/12/2015, 12321

然后,它通过访问REST端点来处理每条记录,获取用户的 age 和 postCode 属性:

public class RetryItemProcessor implements ItemProcessor<Transaction, Transaction> {          @Override     public Transaction process(Transaction transaction) throws IOException {         log.info("RetryItemProcessor, attempting to process: {}", transaction);         HttpResponse response = fetchMoreUserDetails(transaction.getUserId());         //parse user's age and postCode from response and update transaction         ...         return transaction;     }     ... }

最后,它生成并输出一个合并的XML:

<transactionRecord>     <transactionRecord>         <amount>10000.0</amount>         <transactionDate>2015-10-31 00:00:00</transactionDate>         <userId>1234</userId>         <username>sammy</username>         <age>10</age>         <postCode>430222</postCode>     </transactionRecord>     ... </transactionRecord>

3. ItemProcessor 中添加重试

现在假设,如果到REST端点的连接由于某些网络速度慢而超时,该怎么办?如果发生这种情况,则我们的批处理工作将失败。

在这种情况下,我们希望失败的 item 处理重试几次。因此,接下来我将批处理作业配置为:在出现故障时执行最多三次重试:

@Bean public Step retryStep(   ItemProcessor<Transaction, Transaction> processor,   ItemWriter<Transaction> writer) throws ParseException {     return stepBuilderFactory       .get("retryStep")       .<Transaction, Transaction>chunk(10)       .reader(itemReader(inputCsv))       .processor(processor)       .writer(writer)       .faultTolerant()       .retryLimit(3)       .retry(ConnectTimeoutException.class)       .retry(DeadlockLoserDataAccessException.class)       .build(); }

这里调用了 faultTolerant() 来启用重试功能。另外,我们使用 retry 和 retryLimit 分别定义符合重试条件的异常和 item  的最大重试次数。

4. 测试重试次数

假设我们有一个测试场景,其中返回 age 和 postCode 的REST端点关闭了一段时间。在这个测试场景中,我们只对前两个 API 调用获取一个  ConnectTimeoutException ,而第三个调用将成功:

@Test public void whenEndpointFailsTwicePasses3rdTime_thenSuccess() throws Exception {     FileSystemResource expectedResult = new FileSystemResource(EXPECTED_OUTPUT);     FileSystemResource actualResult = new FileSystemResource(TEST_OUTPUT);      when(httpResponse.getEntity())       .thenReturn(new StringEntity("{ \"age\":10, \"postCode\":\"430222\" }"));       //fails for first two calls and passes third time onwards     when(httpClient.execute(any()))       .thenThrow(new ConnectTimeoutException("Timeout count 1"))       .thenThrow(new ConnectTimeoutException("Timeout count 2"))       .thenReturn(httpResponse);      JobExecution jobExecution = jobLauncherTestUtils       .launchJob(defaultJobParameters());     JobInstance actualJobInstance = jobExecution.getJobInstance();     ExitStatus actualJobExitStatus = jobExecution.getExitStatus();      assertThat(actualJobInstance.getJobName(), is("retryBatchJob"));     assertThat(actualJobExitStatus.getExitCode(), is("COMPLETED"));     AssertFile.assertFileEquals(expectedResult, actualResult); }

在这里,我们的工作成功地完成了。另外,从日志中可以明显看出 第一条记录 id=1234 失败了两次,最后在第三次重试时成功了:

19:06:57.742 [main] INFO  o.s.batch.core.job.SimpleStepHandler - Executing step: [retryStep] 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=9999 19:06:57.773 [main] INFO  o.s.batch.core.step.AbstractStep - Step: [retryStep] executed in 31ms

同样,看下另一个测试用例,当所有重试次数都用完时会发生什么:

@Test public void whenEndpointAlwaysFail_thenJobFails() throws Exception {     when(httpClient.execute(any()))       .thenThrow(new ConnectTimeoutException("Endpoint is down"));      JobExecution jobExecution = jobLauncherTestUtils       .launchJob(defaultJobParameters());     JobInstance actualJobInstance = jobExecution.getJobInstance();     ExitStatus actualJobExitStatus = jobExecution.getExitStatus();      assertThat(actualJobInstance.getJobName(), is("retryBatchJob"));     assertThat(actualJobExitStatus.getExitCode(), is("FAILED"));     assertThat(actualJobExitStatus.getExitDescription(),       containsString("org.apache.http.conn.ConnectTimeoutException")); }

在这个测试用例中,在作业因 ConnectTimeoutException 而失败之前,会尝试对第一条记录重试三次。

5. 使用XML配置重试

最后,让我们看一下与上述配置等价的XML:

<batch:job id="retryBatchJob">     <batch:step id="retryStep">         <batch:tasklet>             <batch:chunk reader="itemReader" writer="itemWriter"               processor="retryItemProcessor" commit-interval="10"               retry-limit="3">                 <batch:retryable-exception-classes>                     <batch:include class="org.apache.http.conn.ConnectTimeoutException"/>                     <batch:include class="org.springframework.dao.DeadlockLoserDataAccessException"/>                 </batch:retryable-exception-classes>             </batch:chunk>         </batch:tasklet>     </batch:step> </batch:job>

“怎么配置Spring Batch批处理失败重试”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-前端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯