前言
Spring Cloud Data Flow 是基于原生云对 Spring XD 的重新设计,该项目目标是简化大数据应用的开发。
Spring Cloud Data Flow 简化了专注于数据流处理的应用程序的开发和部署。它的体系结构包含的主要概念有:应用程序、Data Flow Server 和运行时环境。
Spring Cloud Data Flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。
特性
1.使用 DSL,REST-APIs,Dashboard 和 drag-and-drop gui 开发
2.独立的创建,单元测试,故障排除,和管理微服务程序
3.使用开箱即用的 stream 和 task/batch 应用迅速的构建数据通道
4.把微服务作为 maven 或者 Docker 的构件
5.在不中断数据流的情况下扩展数据通道
6.在现代运行环境平台上编配以数据为中心的应用程序
7.利用度量,健康检查远程管理每一个微服务程序
架构
Spring Cloud Data Flow 简化了应用程序的开发和部署,将精力集中到数据处理的用例上
主要的架构概念在应用程序、data flow 服务器和目标运行环境上
运行环境支持
- Cloud Foundry
- Apache YARN
- Kubernetes
- Apache Mesos
更新内容
Spring Cloud Data Flow 2.5.0.M1 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。
2.5.0 的第一个里程碑版本包含针对 Cloud Foundry 中流的应用程序状态检索的性能改进。这还涉及修改运行时应用程序视图页面,以及在 SCDF 仪表板上对流进行更好的分页。
此里程碑版本还包含一些重要的错误修复。
请注意,Spring Cloud Data Flow 2.5.x 仅与 Spring Cloud Skipper 2.3.2.RELEASE 及更高版本兼容。在升级 Spring Cloud Data Flow 2.5.0.M1 时,还需要将 Spring Cloud Skipper 更新到 2.3.2.RELEASE 及更高版本。Spring Cloud Skipper 版本的当前里程碑是 2.4.0.M1。
接下来,Spring Cloud Data Flow 团队表示正在开发一项功能,以支持将应用程序元数据作为 Docker 镜像的一部分。当前仅通过 Maven 工件支持将应用程序列入白名单。借助这一新功能,可以在创建 docker 镜像时配置应用程序元数据。
更新说明:https://spring.io/blog/2020/03/20/spring-cloud-data-flow-2-5-0-m1-released
注意:本文归作者所有,未经作者允许,不得转载