文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

XXL-JOB GLUE任务第三方依赖包的管理实践

2024-11-30 12:49

关注

背景

xxl-job 是一个分布式任务调度平台,它的应用场景非常广泛,例如定时任务、消息推送、批处理等。xxl-job 中的任务类型主要有两种:

BEAN模式(方法形式)

支持基于方法的开发方式,每个任务对应一个方法。

基于方法开发的任务,底层会生成JobHandler代理,和基于类的方式一样,任务也会以JobHandler的形式存在于执行器任务容器中。

GLUE模式(源码方式

任务以源码方式维护在调度中心,支持通过Web IDE在线更新,实时编译和生效,因此不需要指定JobHandler。例如我的代码是python类型的代码,点击该任务右侧“GLUE”按钮,将会前往GLUE任务的Web IDE界面,在该界面支持对任务代码进行开发。

GLUE Python任务代码编辑


但是大家注意到没有,这个地方没有涉及应用的环境问题,比如我的是java代码,那我的程序中的某个包是否在本地能被引用到,即通过maven或是gradle已经下载本地了,或是我的python代码的依赖包是否在当前环境pip install了,我们从官方的github issues中,看到有很多同学提到了这些问题.但是这个官方没有给出具体的解决方案。这篇文档,就给大家谈谈这个问题。

https://github.com/xuxueli/xxl-job/issues/129

https://github.com/xuxueli/xxl-job/issues/254

https://github.com/xuxueli/xxl-job/issues/1401

GLUE模式(Java)任务依赖环境构建

在 xxl-job 的 GLUE 模式下,如果任务类型为 Java 类型,那么需要保证任务依赖的相关 JAR 包已经下载到本地环境中,否则任务执行会出现 ClassNotFoundException 等类加载异常。

一种比较简单的方式是将任务依赖的 JAR 包打成一个 Fat Jar,然后将 Fat Jar 放在执行器的 classpath 中即可。Fat Jar 是将多个 JAR 包合并成一个 JAR 包的方式,执行时只需要引入这个 JAR 包即可。例如我们修改执行器的pom.xml,加入fastjson(相当于把jar放到了执行器的classpath中),然后我们的DemoGlueJobHandler便可以引用fastjson里面的类了。



    com.alibaba
    fastjson
    1.2.68

demo glue直接引用相关类

demo glue执行结果

除了把依赖包提前放到执行器的classpath之外(可能会有包的冲突),还可以在任务执行前,通过代码动态加载依赖的 JAR 包,避免手动打包依赖的麻烦。可以使用 URLClassLoader 类实现动态加载。首先我们把依赖的包放在一个共享盘上,保证执行器可以直接访问到,然后通过反射机制实现代码的调用与执行。具体实现方式可以参考以下代码示例:

package com.xxl.job.service.handler;

import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.IJobHandler;
import java.lang.reflect.Method;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLClassLoader;

public class DemoGlueJobHandler extends IJobHandler {


    // 定义一个用于加载外部 JAR 包的 ClassLoader
    public class MyClassLoader extends URLClassLoader {
        public MyClassLoader(URL[] urls) {
            super(urls);
        }
    }

    // 加载外部 JAR 包的方法
    public void loadJars(String[] jarPaths) {
        URL[] urls = new URL[jarPaths.length];
        for (int i = 0; i < jarPaths.length; i++) {
            try {
                urls[i] = new URL("file:" + jarPaths[i]);
            } catch (MalformedURLException e) {
                e.printStackTrace();
            }
        }
        MyClassLoader myClassLoader = new MyClassLoader(urls);
        Thread.currentThread().setContextClassLoader(myClassLoader);
    }

    @Override
    public void execute() throws Exception {
        // 加载外部 JAR 包
        loadJars(new String[] {"/Users/dongluyang1/.m2/repository/com/alibaba/fastjson/1.2.28/fastjson-1.2.28.jar"});
        ClassLoader contextClassLoader = Thread.currentThread().getContextClassLoader();
        Class jsonObjectClass = contextClassLoader.loadClass("com.alibaba.fastjson.JSONObject");
        Method put = jsonObjectClass.getMethod("put", String.class,Object.class);
        Object object =  jsonObjectClass.newInstance();
        put.invoke(object, "keyTest","valueTest");
        Method toJSONString = jsonObjectClass.getMethod("toJSONString");
        // 执行任务逻辑
        XxlJobHelper.log("XXL-JOB, Hello World."+toJSONString.invoke(object));
    }

}

demo glue反射运行结果

GLUE模式(Python)任务依赖环境构建

在 xxl-job 的 GLUE 模式下,如果任务类型为 Python 类型,那么需要保证任务依赖的相关库已经下载到本地环境中,否则任务执行会出现 ImportError 等异常。

一种常用的方式是使用 Python 虚拟环境(Virtual Environment)来管理依赖库。虚拟环境是 Python 的一个功能,可以在一个独立的环境中安装 Python 和相关库,不会影响到全局环境。

  1. 首先生成python代码文件,存储到公共目录,比如NFS某个目录下面
  2. 创建一个脚本文件,同时在任务的脚本中创建虚拟环境,安装所需的依赖库。可以使用以下命令:
# 创建虚拟环境
python3 -m venv /path/to/virtualenv
# 激活虚拟环境
source /path/to/virtualenv/bin/activate
# 安装依赖库
pip3 install package1 package2 ...

# 执行任务逻辑
...
# 退出虚拟环境
deactivate

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯