PowerJob —强大的分布式任务调度与计算框架

Java范思哲 2020-06-28 17:45:36 ⋅ 1785 阅读

简介

PowerJob(原OhMyScheduler)是基于Akka架构的新一代分布式调度与计算框架,能让您轻松完成作业的调度与繁杂任务的分布式计算。

产品特性

PowerJob(原OhMyScheduler)是全新一代分布式任务调度与计算框架,其主要功能特性如下

1.使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。2.定时策略完善:支持CRON表达式、固定频率、固定延迟和API四种定时调度策略。3.执行模式丰富:支持单机、广播、Map、MapReduce四种执行模式,其中Map/MapReduce处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。4.工作流支持:支持在线配置任务依赖关系(DAG),可视化得对任务进行编排,同时还支持上下游任务间的数据传递。5执行器支持广泛:支持Spring Bean、内置/外置Java类、Shell、Python等处理器,应用范围广。6.运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低debug成本,极大地提高开发效率。7.依赖精简:最小仅依赖关系型数据库(MySQL/PostgreSQL/Oracle/MS SQLServer...)8.高可用&高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展)。9.故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成。

最新版本更新

1、新增工作流(workflow)任务编排支持

2、新增容器扩展能力,极大提升系统的灵活性和扩展性

3、全面国际化,提供 enUS 语言支持

4、修复一系列bug


适用场景

有定时执行需求的业务场景:如每天凌晨全量同步数据、生成业务报表等。有需要全部机器一同执行的业务场景:如使用广播执行模式清理集群日志。有需要分布式处理的业务场景:比如需要更新一大批数据,单机执行耗时非常长,可以使用Map/MapReduce处理器完成任务的分发,调动整个集群加速计算。

同类产品对比



全部评论: 0

    我有话说:

    「开源资讯」任务调度中间件PowerJob 3.3.0 发布

    PowerJob简介 PowerJob是全新一代分布式调度计算框架,能让您轻松完成作业调度繁杂任务分布式计算。 下载地址:https://gitee.com/KFCFans/PowerJob

    PowerJob v3.3.2 已经发布,分布式任务调度中间件

    PowerJob v3.3.2 已经发布,PowerJob 是全新一代分布式调度计算框架,能让您轻松完成作业调度繁杂任务分布式计算。 此版本更新内容包括: Features 支持控制台查看

    Martian框架发布 3.0.3 版本,Redis分布式

    项目简介 Martian 是一个声明式 API 编程(DAP)框架,可以帮助你快速开发后端服务。 以HttpServer作为 http服务,彻底脱离Tomcat这一类Web容器和Servlet

    【开源资讯】JWCloud 专业版 v1.0.0 发布,基于 SpringCloud 研发微服务框架

    简介 JavaWeb_Cloud 微服务平台是一款基于 SpringCloud 框架研发分布式微服务框架,主要使用技术栈包括: SpringCloud、Vue、ElementUI

    微型Java开发框架Solon 1.1发布,QPS达10万+

    简介 Solon 是一个微型Java开发框架。项目从2018年启动以来,参考过大量前人作品;历时两年,2700多次commit;内核保持0.1m身材,超高Web跑分,良好使用体验

    Java并发解决方案:分布式应用限流实践

    任何限流都不是漫无目的,也不是一个开关就可以解决问题,常用限流算法有:令牌桶,漏桶。在之前文章中,也讲到过,但是那是基于单机场景来写。 之前文章:接口限流算法:漏桶算法&令牌桶算法

    精品推荐:如何实现一个TCC分布式事务框架一点思考

    本文将以Spring容器为例,试图分析一下,实现一个通用TCC分布式事务框架需要注意一些问题。

    码云推荐:一个优秀分布式spring boot/Spring Cloud API限流框架,特别适合微服务架构

    一个优秀分布式spring boot/Spring Cloud API限流框架,特别适合微服务架构.

    构建 Netflix 分布式追踪(tracing)体系

    Maulik Pandeyhttps://mp.weixin.qq.com/s/NmGYfoJ7pw8CfRfUkc6o2Q “为什么我手机不能播放 Tiger King?” — 一位

    蚂蚁宣布开源 KubeTEE:云原生集群化机密计算框架

    蚂蚁在上海外滩大会可信原生技术论坛上宣布开源 KubeTEE。 KubeTEE 是一个云原生大规模集群化机密计算框架,旨在解决在云原生环境中 TEE 可信执行环境技术特有从开发、部署到运维整体流程

    Apache ZooKeeper 3.7.0 发布,分布式服务框架

    Apache ZooKeeper 是 Apache 软件基金会一个软件项目,它为大型分布式计算提供开源分布式配置服务、同步服务和命名注册。ZooKeeper 曾经是 Hadoop 一个子项目

    Python ORM框架SQLAlchemy 1.3.20 发布

    SQLAlchemy 1.3.20 发布了。SQLAlchemy 是一个 Python SQL 工具包以及数据库对象映射(ORM)框架。它包含整套企业级持久化模式,专门用于高效和高性能数据库

    TeamCity 2020.2.2 发布,功能强大持续集成工具

    TeamCity 2020.2.2 发布了。TeamCity 是一款功能强大持续集成工具,覆盖服务器端和客户端。它提供一系列特性可以让团队快速实现持续集成:IDE 工具集成、各种消息通知

    「轻阅读」美团开源QPS压测结果近5w/s分布式ID生成器leaf调试实战

    大型互联网项目ID要保证全局唯一,一般不在用数据库自带id自增了,一般都会用分布式id生成器。

    RPC调用GC垃圾回收

    多个服务协同完成一次业务时,由于业务约束(如红包不符合使用条件、账户余额不足等)、系统故障(如网络或系统超时或中断、数据库约束不满足等),都可能造成服务处理过程在任何一步无法继续,使数据处于不一致

    搜索引擎技术选型调研:ElasticsearchSolr

    Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上搜索引擎,可以说Lucene是当今最先进,最高效全功能开源搜索引擎框架

    HeidiSQL 11.1 发布,功能强大数据库客户端软件

    HeidiSQL 11.1 现已发布。HeidiSQL 是一个功能非常强大数据库客户端软件,采用 Delphi 开发,支持 Windows 操作系统。支持 MySQL、MariaDB