Kafka 慌了!这个中间件,要火了?

Java大拿 2020-12-17 13:43:24 ⋅ 127 阅读

你知道吗?在消息中间件的编年史上,RocketMQ可谓独当一面。作为Apache 顶级项目(TLP),Apache RocketMQ 是国内首个非 Hadoop 生态体系的顶级项目,开源至今被全球广泛应用,堪称阿里技术中的一颗“掌上明珠”。

 

阿里高并发架构,为什么用RocketMQ?

Kafka主要定位日志传输,特性很难全面满足淘宝的交易、订单、充值等场景。所以,阿里团队研发了定位于非日志可靠消息传输的RocketMQ,RocketMQ取消了Kafka的分区机制,完全支持顺序消费和事务消息,是搭建高并发架构的不二之选

 

 

4年前的双十一,阿里中间件团队和全世界共同见证了RocketMQ低延迟存储架构的“首秀”,成功扛住曾让无数大牛束手无策的世界级流量洪峰,达成保障用户体验如丝般顺滑的目标。这场万亿级高并发场景下的实战,堪称经典。

 

目前,RocketMQ被阿里广泛应用在订单、交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景,已然是阿里核心系统的“扛把子”。

 

它的数据可靠性如何?

RocketMQ支持异步实时刷盘、同步刷盘、同步复制、异步复制,而则Kafka使用异步刷盘方式,异步复制、同步复制。RocketMQ的同步刷盘在单机可靠性上比Kafka更高,不会因为操作系统Crash,导致数据丢失。

 

不同的数据分区影响了什么?

Kafka同步Replication理论上性能低于RocketMQ的同步Replication,原因是Kafka的数据以分区为单位组织,意味着一个Kafka实例上会有几百个数据分区。而RocketMQ一个实例上只有一个数据分区,可以充分利用IO组Commit机制,有更好的IO性能,降低性能损耗。

 

 

总结

在消息投递实时性、严格的消息顺序、定时消息等核心功能方面,RocketMQ均比Kafka更加出色。非常适合应对更丰富的业务场景,包括涉及异步解耦、顺序消息、分布式事务消息(交易系统、支付红包等)等大厂核心场景。

 


全部评论: 0

    我有话说:

    Kafka系列二

      分区 Kafka 的消息组织方 式实际上是三级结构:主题 - 分区 - 消息 问题一:为什么 Kafka 这样的设计?为什么使用分区的概念而不是直接使用多个主题呢? 分区的

    Kafka系列一

      前言 刚学rabbitmq, 怎么突然又开始kafka? 艺多不压身 <摸着渐渐稀疏的头发> 只有对比才能有更深的理解 起于专业,终于专业 起步 知乎上

    Node实战篇:Express 中间-body-parser(五)

    body-parser是什么?body-parser是一个HTTP请求体解析中间,使用这个模块可以解析JS

    Martian-cloud 4.0,跟注册中心拜拜,基于传染机制的分布式组件诞生

    这次真的跟注册中心讲拜拜,微服务不再需要占用一套注册中心集群,大大节约运维成本 更新点如下 丢弃一开始的【生产者->注册中心->消费者】模型 采用传染机制,实现服务的发现与

    代码这样优化,瞬间清爽多

    今天这篇文章我们又来聊聊代码优化。 隐藏行为细节 在平时的开发过程中,你肯定会碰到这样的业务,比如判断车速是否正常。一般编码如下: float speed = 60f

    这样学习正则表达式就轻松

    在日常工作中,经常会用到正则操作。但是对于大多数人来说,操作正则表达式简直就是抓瞎。本篇文章主要整理正则表

    Node实战篇:Express中间与request(四)

    Express 是一个路由和中间 Web 框架,其自身只具有最低程度的功能:Express 应用程序基本上是一系列中间函数调用。

    Node实战篇:Express 中间 cookie-parser(六)

    cookieParser()实际上是对http传入的cookie进行解析后赋值给req.cookies,使得中间可用

    Node rabbitmq 入门就够

      消息中间 消息队列中间(Message Queue Middleware, 简称为 MQ)是指利用高效可靠的消息传递机制进行与平台无关的数据交流, 并基于数据通信来进行分布式系统的

    Apache Kafka 2.7.1 发布

    Apache Kafka 2.7.1 已发布,这是一个 bugfix 版本,其中包括来自 45 个 JIRA 的修复和改进,还修复部分严重的错误。 改进 [KAFKA-10852] - 优化

    「开源资讯」陌陌安全团队开源Java静态代码审计插

    陌陌安全本次开源的Java静态代码安全审计插,侧重于在编码过程中发现项目潜在的安全风险,并提供一键修复能力。 此插作为Java项目静态代码安全审计工具,侧重于在编码过程中发现项目潜在的安全风险

    Yahoo 开源的 Pulsar 能否超越 Kafka

    来源:性能与架构链接:https://mp.weixin.qq.com/s/s4k9nioEDd1m2g0quj9kqA   Pulsar 是类似于 Kafka 的一个消息中间,是

    你的老板逼你上微服务吗?

    这些年软件的设计规模越来越庞大,业务需求也越来越复杂,针对系统的性能、高吞吐率、高稳定性、高扩展等特性提出更高的要求。   图片来自 Pexels可以说业务需求是软件架构能力的

    抱歉,前端兄弟们,我拖后腿

    开源中国最新统计的2019年最受开发者欢迎的开源软件排名

    2021 年最的开发语言会是谁?

    哪种语言会比较🔥? 开发语言的走势一直都在牵动程序员的心。 2020 年已经过半,是时候分析下明年的趋势。 下面咱们就看下权威的行业数据,看看 2021 年可能排在前 3 的开发语言都有谁

    「转载」SpringBoot配置ELK环境

    作者:JingQ https://www.sevenyuan.cn/ 在看大型网站的中间技术,对于Elasticsearch有点兴趣,所以将配置流程记录一下 为什么用ELK ELK实际上是

    IDEA 2020.3 更新 Kotlin 插

    IntelliJ IDEA 2020.3 稳定版已在 12 月初发布。现在 IDEA 2020.3 更新其中的 Kotlin 插并更改 Kotlin 插发布周期。Kotlin 插

    Java 14 有这几个新特性,开发直接飞起来!

    内容介绍: Record -- 简化简单 Java 类的创建。 Pattern Matching -- 简化 instanceof 。 Switch 表达式 -- 简化