XXL-JOB常见问题总结

XXL-JOB Github源码地址: https://github.com/xuxueli/xxl-job
XXL-JOB 中文文档: https://www.xuxueli.com/xxl-job/

一 XXL-JOB工作原理?

image.png

XXL-JOB 是一款分布式任务调度平台,其工作原理如下:

  • 调度中心:XXL-JOB 的调度中心负责管理任务、调度任务执行,并提供任务的可视化管理界面。调度中心会定时扫描任务表,获取需要执行的任务列表。
  • 执行器:执行器是部署在执行任务的服务器上的代理程序,它接收调度中心的任务调度请求,并在本地执行任务。执行器会向调度中心注册,并定时向调度中心汇报任务执行状态。
  • 任务触发方式:任务可以通过多种触发方式进行调度,包括手动触发、CRON 表达式触发、固定频率触发等。
  • 分片广播:当一个任务需要分片执行时,调度中心会将任务划分为多个子任务,并通过分片广播的方式将子任务发送给不同的执行器同时执行。
  • 任务执行日志记录:执行器在执行任务时,会将任务的执行日志写入日志文件或数据库,并定期上传给调度中心,以便于查看任务的执行情况。
  • 失败重试与报警机制:当任务执行失败时,调度中心会根据配置的重试策略对任务进行重试,并在任务连续失败超过阈值后发送报警通知。
  • 总体来说,XXL-JOB 的工作原理是通过调度中心与执行器之间的通信协作,实现任务的调度、分片执行和状态管理。通过集中式的调度中心,可以方便地管理和监控分布式环境下的任务执行情况,提高任务调度的可靠性和效率。

二 XXL-JOB是如何进行分片的?

在XXL-JOB中,任务的分片是指将一个任务拆分成多个子任务并分配给不同执行器并行执行,以提高任务执行效率。下面是XXL-JOB进行分片的基本原理:

  • 任务参数配置:在创建任务时,可以配置分片参数。主要包括分片总数和分片参数。

  • 分片广播:当任务触发时,调度中心会根据分片总数和参数将任务进行分片,并将每个子任务通过分片广播的方式发送给不同的执行器。

  • 执行器接收任务:执行器接收到分片任务后,会根据任务参数中的分片索引来判断当前执行器是否负责执行该分片。

  • 分片执行:如果执行器负责执行该分片,它会根据任务逻辑执行相应的分片任务。每个执行器都独立执行自己负责的分片任务。

  • 执行结果上报:每个执行器在执行分片任务完成后,会将任务的执行结果(成功或失败)上报给调度中心。

  • 状态汇报与合并:调度中心接收到各个执行器上报的分片任务执行结果后,会进行汇报与合并。如果所有分片任务都执行成功,则表示整个任务执行成功;否则,如果有任何一个分片任务执行失败,则整个任务被标记为执行失败。

  • 总结来说,XXL-JOB通过分片广播的方式将任务拆分成多个子任务,并通过执行器并行执行。每个执行器负责自己负责的分片任务,执行完成后将结果上报给调度中心。调度中心统计所有分片任务的执行结果,根据情况判断整个任务的执行状态。通过这种分片的方式,可以提高任务的并行性和执行效率,适应大规模任务的处理需求。

XXL-JOB任务分片

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容