好文推荐:我是如何用redis做实时订阅推送的

bigdata 2019-05-08 11:50:40 ⋅ 232 阅读

https://www.cnblogs.com/linlinismine/p/9214299.html

前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的。

      先说一下领劵中心的项目吧,这个项目就类似京东app的领劵中心,当然图是截取京东的,公司的就不截了。。。

     

 

      其中有一个功能叫做领劵的订阅推送。什么是领劵的订阅推送?就是用户订阅了该劵的推送,在可领取前的一分钟就要把提醒信息推送到用户的app中。本来这个订阅功能应该是消息中心那边做的,但他们说这个短时间内做不了。所以让我这个负责优惠劵的做了-.-!。具体方案就是到具体的推送时间点了,coupon系统调用消息中心的推送接口,把信息推送出去。

 

     下们我们分析一下这个功能的业务情景。公司目前注册用户6000W+,是哪家就不要打听了。。。比如有一张无门槛的优惠劵下单立减20元,那么抢这张劵的人就会比较多,我们保守估计10W+,百万级别不好说。我们初定为20W万人,那么这20W条推送信息要在一分钟推送完成!并且一个用户是可以订阅多张劵的。所以我们知道了这个订阅功能的有两个突出的难点:

     1、推送的实效性:推送慢了,用户会抱怨没有及时通知他们错过了开抢时机。

     2、推送的体量大:爆款的神劵,人人都想抢!

      然而推送体量又会影响到推送的实效性。这真是一个让人头疼的问题!

 

     那就让我们把问题一个个解决掉吧!

     推送的实效性的问题:当用户在领劵中心订阅了某个劵的领取提醒后,在后台就会生成一条用户的订阅提醒记录,里面记录了在哪个时间点给用户发送推送信息。所以问题就变成了系统如何快速实时选出哪些要推送的记录!

    方案1:MQ的延迟投递。MQ虽然支持消息的延迟投递但尺度太大1s 5s 10s 30s 1m,用来做精确时间点投递不行!并且用户执行订阅之后又取消订阅的话,要把发出去的MQ消息delete掉这个操作有点头大,短时间内难以落地!并且用户可以取消之后再订阅,这又涉及到去重的问题。所以MQ的方案否掉。

   方案2:传统定时任务。这个相对来说就简单一点,用定时任务是去db里面load用户的订阅提醒记录,从中选出当前可以推送的记录。但有句话说得好任何脱离实际业务的设计都是耍流氓~。下面我们就分析一下传统的定时任务到底适不适合我们的这个业务!

 

能否支持多机同时跑 一般不能,同一时刻只能单机跑。
存储数据源 一般是mysql或者其它传统数据库,并且是单表存储
频率 支持秒、分、时、天,一般不能太快

 

        总上所述我们就知道了一般传统的定时任务存在以下缺点:

       1、性能瓶颈。只有一台机在处理,在大体量数据面前力不从心!

       2、实效性差。定时任务的频率不能太高,太高会业务数据库造成很大的压力!

       3、单点故障。万一跑的那台机挂了,那整个业务不可用了-。- 这是一个很可怕的事情!

        所以传统定时任务也不太适合这个业务。。。 

       那我们是不是就束手无策了呢?其实不是的! 我们只要对传统的定时任务做一个简单的改造!就可以把它变成可以同时多机跑,并且实效性可以精确到秒级,并且拒绝单点故障的定时任务集群!这其中就要借助我们的强大的redis了。

     

方案3:定时任务集群

     首先我们要定义定时任务集群要解决的三个问题!

     1、实效性要高

     2、吞吐量要大

     3、服务要稳定,不能有单点故障 

     下面是整个定时任务集群的架构图。 

       

 

     架构很简单:我们把用户的订阅推送记录存储到redis集群的sortedSet队列里面,并且以提醒用户提醒时间戳作为score值,然后在我们个每业务server里面起一个定时器频率是秒级,我的设定就是1s,然后经过负载均衡之后从某个队列里面获取要推送的用户记录进行推送。下面我们分析以下这个架构

    1、性能:除去带宽等其它因素,基本与机器数成线性相关。机器数量越多吞吐量越大,机器数量少时相对的吞吐量就减少。

    2、实效性:提高到了秒级,效果还可以接受。

    3、单点故障?不存在的!除非redis集群或者所有server全挂了。。。。

 

    这里解析一下为什么用redis?

    第一redis 可以作为一个高性能的存储db,性能要比MySQL好很多,并且支持持久化,稳定性好。

    第二redis SortedSet队列天然支持以时间作为条件排序,完美满足我们选出要推送的记录。

    

    ok~既然方案已经有了那如何在一天时间内把这个方案落地呢?是的我设计出这个方案到基本编码完成,时间就是一天。。。 因为时间太赶鸟。

     首先我们以user_id作为key,然后mod队列数hash到redis SortedSet队列里面。为什么要这样呢,因为如果用户同时订阅了两张劵并且推送时间很近,这样的两条推送就可以合并成一条~,并且这样hash也相对均匀。下面是部分代码的截图:

  

    然后要决定队列的数量,一般正常来说我们有多少台处理的服务器就定义多少条队列。因为队列太少,会造成队列竞争,太多可能会导致记录得不到及时处理。

    然而最佳实践是队列数量应该是可动态配置化的,因为线上的集群机器数是会经常变的。大促的时候我们会加机器是不是,并且业务量增长了,机器数也是会增加是不是~。所以我是借用了淘宝的diamond进行队列数的动态配置。

 

    我们每次从队列里面取多少条记录也是可以动态配置的 

   这样就可以随时根据实际的生产情况调整整个集群的吞吐量~。  所以我们的定时任务集群还是具有一个特性就是支持动态调整~。

   最后一个关键组件就是负载均衡了。这个是非常重要的!因为这个做得不好就会可能导致多台机竞争同时处理一个队列,影响整个集群的效率!在时间很紧的情况下我就用了一个简单实用的利用redis一个自增key 然后 mod 队列数量算法。这样就很大程度上就保证不会有两台机器同时去竞争一条队列~.

 

    最后我们算一下整个集群的吞吐量 

     10(机器数) * 2000(一次拉取数) = 20000。然后以MQ的形式把消息推送到消息中心,发MQ是异步的,算上其它处理0.5s。

     其实发送20W的推送也就是10几s的事情。

    ok~ 到这里我们整个定时任务集群就差不多基本落地好了。如果你问我后面还有什么可以完善的话那就是:

    1、加监控, 集群怎么可以木有监控呢,万一出问题有任务堆积怎么办~

    2、加上可视化界面。

    3、最好有智能调度,增加任务优先级。优先级高的任务先运行嘛。

    4、资源调度,万一机器数量不够,力不从心,优先保证重要任务执行。

 

     目前项目已上前线,运行平稳~。

---------------END----------------

后续的内容同样精彩

长按关注“IT实战联盟”哦




全部评论: 0

    我有话说:

    HTTP/2.0 服务器实现

    HTTP/2允许服务器在请求之前先响应信息到客户端(之前客户端有过请求),如果实现了HTTP缓存,响应信息可以在客户端被缓存(可通过no-cache进行配置)。

    后端Coder如何代码设计?

    来源:http://r6d.cn/C5Ja 说明:生鲜电商属于一个软件产品,那么如何代码设计呢?代码设计,程序员项目时,在coding之前非常重要一个步骤,可以说关系到整个系统

    「轻阅读」“完”和“区别

    在工作中,“完”和“”虽然仅一字之差,但前者只完成了某项工作,而后者则不仅完成了工作还有一个

    Redisson 3.13.6 发布,官方推荐 Redis 客户端

    Redisson 3.13.6 已发布,这一个 Java 编写 Redis 客户端,具备驻内存数据网格(In-Memory Data Grid)功能,并获得了 Redis 官方推荐

    Redis系列四 锁

      本文目标 1. 熟悉乐观锁ABA概念 2. 理解掌握redis事务以及watch回滚; 3. 实战redis锁 乐观锁 乐观锁一种不会阻塞其他线程并发机制,它不会使用数据库

    「强烈推荐」这看过最接“地气”代码问题与重构实践

      写这个文章因为前段时间确实因为公司业务开发太忙太紧,所有开发都处在于加班赶项目,并且加入新人较多造成了一系列代码不可控质量问题。 文章针对这段时间代码出现各种各样问题

    Redis系列二:位图实战,实现打卡签到

    前言 如果要统计一篇文章阅读量,可以直接使用 Redis  incr 指令来完成。 如果要求阅读量必须按用户去重,那就可以使用 set 来记录阅读了这篇文章所有用户 id,获取

    精品推荐:无,无新闻,无广告,2倍速看视频,看直播超强浏览器

    今天给大家推荐一款小众却功能强大应用,这款应用不怎么出名,一直很低调,但是却受到众多好评,相对其他大众

    手把手教你Spring Cloud + Redis 实现点赞功能,包教包会

    ; 这玩意怎么实现呢?来手把手教你实现,其...

    老板说:明天来加班写个FCM消息功能......

    基于Spring Boot集成Firebase实现FCM消息功能

    Redis系列六 Lua

      本文目标 学习lua基本语法 能够采用redis+lua lua 基本语法 Lua 一种轻量小巧脚本语言,标准C语言编写并以源代码形式开放, 其设计目的为了嵌入应用

    Redis系列九 推荐系统-布隆过滤器

      布隆过滤器 概念 布隆过滤器一种空间利用率较高概率型数据结构,来测试一个元素是否在集合中。但是存在一定可能,导致结果误判。当布隆过滤器说某个值存在时,这个值可能不存在;当它说不

    3分钟学会 React-Native 消息【附源码】

    作为一个独立APP应用怎么能没有消息呢?

    Redis系列七 Debug Lua

      调试redis+lua 学了lua基本语法,了解了redis+lua配套法,但是却不知道怎么断点调试。学就学全面点, 官网中有dubug相关说明。地址:Redis Lua

    为什么单线程Redis能够达到百万级QPS?

    作者:在江湖中coding链接:https://juejin.im/post/5e6097846fb9a07c9f3fe744 性能测试报告 查看了下阿里云 Redis 性能测试报告如下,能够

    注解实现接口操作流水日志

    作者:Lvshen技术小屋  原文:https://www.toutiao.com/i689551231529549876 在项目中,我们会需要获取接口操作日志。比如获取接口接口名

    Redis系列四 GEO附近

    GEO算法 GeoHash一种地址编码方法。将二维空间经纬度数据编码成一个字符串; 地球上经度范围:[-180, 180],纬度范围:[-90,90]。如果以本初子午线、赤道为界,地球可以

    深度!RocketMQ高级进阶知识精讲

      https://juejin.cn/post/6944894142652612638 前言 大家jack xu,本文RockeMQ精讲系列最后一篇,讲RockeMQ一些