构建数据集成和实时数据处理流水线工具Spring Cloud Data Flow

今日编程 2020-03-23 13:53:58 ⋅ 1053 阅读

前言

Spring Cloud Data Flow 是基于原生云对 Spring XD 的重新设计,该项目目标是简化大数据应用的开发。

Spring Cloud Data Flow 简化了专注于数据流处理的应用程序的开发和部署。它的体系结构包含的主要概念有:应用程序、Data Flow Server 和运行时环境。

Spring Cloud Data Flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。

特性

1.使用 DSL,REST-APIs,Dashboard 和 drag-and-drop gui 开发
2.独立的创建,单元测试,故障排除,和管理微服务程序
3.使用开箱即用的 stream 和 task/batch 应用迅速的构建数据通道
4.把微服务作为 maven 或者 Docker 的构件
5.在不中断数据流的情况下扩展数据通道
6.在现代运行环境平台上编配以数据为中心的应用程序
7.利用度量,健康检查远程管理每一个微服务程序

架构

Spring Cloud Data Flow 简化了应用程序的开发和部署,将精力集中到数据处理的用例上
主要的架构概念在应用程序、data flow 服务器和目标运行环境上

运行环境支持

- Cloud Foundry
- Apache YARN
- Kubernetes
- Apache Mesos

更新内容

Spring Cloud Data Flow 2.5.0.M1 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。

2.5.0 的第一个里程碑版本包含针对 Cloud Foundry 中流的应用程序状态检索的性能改进。这还涉及修改运行时应用程序视图页面,以及在 SCDF 仪表板上对流进行更好的分页。

此里程碑版本还包含一些重要的错误修复。

请注意,Spring Cloud Data Flow 2.5.x 仅与 Spring Cloud Skipper 2.3.2.RELEASE 及更高版本兼容。在升级 Spring Cloud Data Flow 2.5.0.M1 时,还需要将 Spring Cloud Skipper 更新到 2.3.2.RELEASE 及更高版本。Spring Cloud Skipper 版本的当前里程碑是 2.4.0.M1。

接下来,Spring Cloud Data Flow 团队表示正在开发一项功能,以支持将应用程序元数据作为 Docker 镜像的一部分。当前仅通过 Maven 工件支持将应用程序列入白名单。借助这一新功能,可以在创建 docker 镜像时配置应用程序元数据。

更新说明:https://spring.io/blog/2020/03/20/spring-cloud-data-flow-2-5-0-m1-released



全部评论: 0

    我有话说:

    Spring Cloud Data Flow 2.7.1 发布

    Spring Cloud Data Flow 2.7.1 发布了。Spring Cloud Data Flow构建数据集成实时数据处理流水线工具包。 主要更新内容 UI 错误修复

    【开源资讯】Spring Data 2020.0 RC2 发布

    Spring Data 2020.0 RC2 发布了。Spring Data 项目的目的是简化构建基于 Spring 框架应用的数据访问计数,包括非关系数据库、Map-Reduce 框架

    Spring Cloud(Greenwich版)-06-Spring Cloud集成Feign

    Spring Cloud系列教程第6节-Spring Cloud集成Feign

    数据结构

    结构,简单的理解就是关系。严格点说,结构是指各个组成部分相互搭配排列的方式。在现实世界中,不同数据元素之间不是独立的,而是存在特定的关系,我们将这些关系成为结构。 数据结构:是相互之间存在一种

    Spring Data 2020.0.0 正式 GA

    Spring Data 2020.0.0(代号 Ockham)已正式 GA,这也是更改版本号方案后的首个版本,此前的版本号采用名字来标记,例如 Neumann-RELEASE。 新的版本号格式为

    推荐一款前端数据源管理工具 algeb

    ALGEB 简介 这是一个比较抽象的库,一开始可能比较难理解。我写它的初衷,是创建可响应的数据请求管理。在传统数据请求中,我们只是把携带ajax代码的一堆函数放在一起,这样就可以调用接口。但是这种

    架构实战篇(五):Spring Boot 表单验证异常处理

    为了让API 能够更好的提供服务,表单数据验证异常的处理是必不可少的,让我们来看看怎么处理......

    架构实战篇(八):Spring Boot 集成 Druid 数据源监控

    Druid是目前最好的数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。

    Spring Cloud快速搭建开放平台解决方案

    基于Spring Cloud开放平台解决方案 SOP

    Spring Cloud(Greenwich版)-03-编写高可用Eureka Server(集群)

    前言 上一章Spring Cloud(Greenwich版)-02-服务注册与服务发现-Eureka入门,我们实现了将UserGoods微服务都注册到了Eureka上,那么在生产环境中为了达到高

    深入理解 Spring Cloud 核心组件 底层原理

    搜云库技术团队:https://mp.weixin.qq.com/s/_KCBWTPvFQ2QsM4P8-gqTQ 之前一直在看 Spring Cloud 及微服务架构 对 Spring Cloud

    Spring Cloud Alibaba 发布毕业后的首个版本

    方剑,花名洛夜,GitHub ID @fangjian0423,开源爱好者,阿里巴巴高级开发工程师,阿里云产品 EDAS 开发,Spring Cloud Alibaba 开源项目负责人。

    码云推荐:一个优秀的分布式spring boot/Spring Cloud API限流框架,特别适合微服务架构

    一个优秀的分布式spring boot/Spring Cloud API限流框架,特别适合微服务架构.

    mongoHelper 0.3.9 发布,spring-data-mongodb 增强工具包,简化 CRUD 操作

    mongoHelper 是基于 spring-data-mongodb 的增强工具包,简化 CRUD 操作,提供类 jpa 的数据库操作。 传统关系型数据库及围绕它们构建的 orm 在项目开发中有很

    您应该避免的五个简单的数据库设计错误

    Anith 在他非常成功的文章 Facts and Fallacies about First Normal Form 之后,对五个常见的数据库设计错误进行了引人入胜的讨论,尽管使用它们的不幸后果

    架构实战篇(七):Spring Boot Data JPA 快速入门

    Spring Data JPA 是Spring Data 的一个子项目,它通过提供基于JPA的Repository极大了减少了操作JPA的代码。

    Dgraph 1.2.8 发布,事务性分布式图形数据库

    Dgraph 1.2.8 发布了。Dgraph 是一个可扩展的,分布式的,低延迟的图数据库,目标是提供 Google 生产水平的规模吞吐量,在超过 TB 的结构数据里,为用户提供足够低延迟的实时