作业系统设计 发布于: 2021-05-02 更新于: 2023-07-09 批次任务总体流程 按模块划分 模块 数据库存储 MQ TOPIC 查询SQL【查出相关的数据】 批次分区数量 批次时间等 查询sql 由于查询sql查的对象名不一致,所以需要进行转换名字 <resultMap id="xxxMap" type="Map"> <result column="people_id" property="unique_id" jdbcType="INTEGER" /> </resultMap> 系统分布 st=>start e=>end request=>operation: 前端发起批次任务请求 saveDB=>operation: 数据库存储批次信息【sql、时间、执行类】 getBatchMsg=>operation: mybatis获取批次信息 execSql=>operation: 执行#批次sql语句获取数据 saveBatchData=>operation: 将数据存入批次分区表 sendBatchMq=>operation: 将批次任务发到MQ consumeBatchMq=>operation: 消费MQ的批次任务 inTask=>inputoutput: 输入批次任务名字 inBatchMsg=>inputoutput: 将获取到数据映射到dataUnique st->saveDB->inTask->request(right) ->getBatchMsg->execSql->inBatchMsg->saveBatchData->sendBatchMq->consumeBatchMq->e{"theme":"simple","scale":1,"line-width":2,"line-length":50,"text-margin":10,"font-size":12}Title:调度系统的大概组成 调度系统->调度系统存储:批次作业的存储以及增删改查 调度系统存储->任务调度:提供作业队列 任务调度->拉起任务:这里就接调度器(HTTP、服务化RPC等) 拉起任务->任务监控:过n分钟后的检查作业批次 note over 任务监控:如果批次失败,显示批次的自检or告警内容{"theme":"simple","scale":1,"line-width":2,"line-length":50,"text-margin":10,"font-size":12} 作业系统设计 /archives/a410d568/ 作者 tyrantqiao 发布于 2021-05-02 更新于 2023-07-09 许可协议 CC BY-NC-SA 4.0 赏 蟹蟹大佬的打赏,大家一起进步 支付宝 微信 扫一扫,分享到微信