博客详情

xxl-job的多节点分片执行任务 (原创)

作者: 朝如青丝暮成雪
发布时间:2021-08-08 23:58:11  文章分类:java编程   阅读(11810)  评论(0)

一般情况下,我们希望我们编写的job在一个机器节点上执行即可。

可如果是集群环境,我们job被部署到了集群多个节点,xxl-job需要做到只要有一个节点去执行job即可 (不需要重复执行),这时候需要依赖xxl的任务路由策略进行分配节点。

xxl-job提供的路由策略有:第一个、最后一个、轮询、随机、一致性hash、最不经常使用、最近最久未使用、故障转移、忙碌转移、分片广播

对个简单的单节点任务,我们可以选择轮询、随机 或故障转移等都可以。

然而对于一个执行时间很长,任务量巨大的任务。例如批量处理3万条数据库数据,而每条数据需要做大量的运算,如果我们只依赖一个节点去处理就不太理想了。 此时我们需要考虑将这个任务进行拆分(分片),例如将第1~10000的数据分给第一个job节点处理,将第10001~20000的数据分给第二个job节点处理,将第20001~30000的数据分给第三个job节点处理,这样可以充分发挥xxl-job多节点同时运算的能力。 


实际中操作中,我们需要在xxl-admin控制台创建一个任务,运行模式可以选择默认的bean, 路由策略:选择分片广播 (重要)

bean的任务代码中可以通过以下代码获取到分片参数 :


    // 分片参数
        int shardIndex = XxlJobHelper.getShardIndex();
        int shardTotal = XxlJobHelper.getShardTotal();


示例代码:


/**
     * 2、分片广播任务
     */
    @XxlJob("shardingJobHandler")
    public void shardingJobHandler() throws Exception {

        // 分片参数
        int shardIndex = XxlJobHelper.getShardIndex();
        int shardTotal = XxlJobHelper.getShardTotal();

        XxlJobHelper.log("分片参数:当前分片序号 = {}, 总分片数 = {}", shardIndex, shardTotal);

        // 业务逻辑
        for (int i = 0; i < shardTotal; i++) {
            if (i == shardIndex) {
               
                System.out.println("第:"+i+"片,命中开始处理");
            } else {
              
                System.out.println("第:"+i+"片,忽略");
            }
        }

    }


最后我们需要将调度器程序,发布到多个机器中启动 。

xxl-admin自动根据调度器程序appName (相同的appName 视为一类调度程序),生成多个job实例执行,而每个job实例分配到的shareInex (分片索引 )各不相同。


关键字:  xxl-job  定时任务
评论信息
暂无评论
发表评论

亲,您还没有登陆,暂不能评论哦! 去 登陆 | 注册

博主信息
   
数据加载中,请稍候...
文章分类
   
数据加载中,请稍候...
阅读排行
 
数据加载中,请稍候...
评论排行
 
数据加载中,请稍候...

Copyright © 叮叮声的奶酪 版权所有
备案号:鄂ICP备17018671号-1

鄂公网安备 42011102000739号