作业系统设计

批次任务

总体流程

按模块划分

• 模块
  • 数据库存储
    • MQ TOPIC
    • 查询SQL【查出相关的数据】
    • 批次分区数量
    • 批次时间等
  • 查询sql
    • 由于查询sql查的对象名不一致，所以需要进行转换名字

    <resultMap id="xxxMap" type="Map">
        <result column="people_id" property="unique_id" jdbcType="INTEGER" />
    </resultMap>

系统分布

st=>start e=>end request=>operation: 前端发起批次任务请求 saveDB=>operation: 数据库存储批次信息【sql、时间、执行类】 getBatchMsg=>operation: mybatis获取批次信息 execSql=>operation: 执行#批次sql语句获取数据 saveBatchData=>operation: 将数据存入批次分区表 sendBatchMq=>operation: 将批次任务发到MQ consumeBatchMq=>operation: 消费MQ的批次任务 inTask=>inputoutput: 输入批次任务名字 inBatchMsg=>inputoutput: 将获取到数据映射到dataUnique st->saveDB->inTask->request(right) ->getBatchMsg->execSql->inBatchMsg->saveBatchData->sendBatchMq->consumeBatchMq->e{"theme":"simple","scale":1,"line-width":2,"line-length":50,"text-margin":10,"font-size":12}Title:调度系统的大概组成 调度系统->调度系统存储:批次作业的存储以及增删改查 调度系统存储->任务调度:提供作业队列 任务调度->拉起任务:这里就接调度器（HTTP、服务化RPC等） 拉起任务->任务监控:过n分钟后的检查作业批次 note over 任务监控:如果批次失败，显示批次的自检or告警内容{"theme":"simple","scale":1,"line-width":2,"line-length":50,"text-margin":10,"font-size":12}

作业系统设计

/archives/a410d568/

作者

tyrantqiao

发布于

2021-05-02

更新于

2023-07-09

许可协议

CC BY-NC-SA 4.0

赏

蟹蟹大佬的打赏，大家一起进步

支付宝

微信