Kafka系列一

前言

起步

知乎上kafka 推荐书籍？，其中列出来了大神的书籍、博客，站在大佬的肩膀上，努力向前！

摘录下

1. Apache Kafka 官网
2. StackOverflow: Newest 'apache-kafka' Questions
3. 美团李志涛博客
4. 胡夕 - 博客园 –《Apache Kafka实战》
5. kafka中文教程 - OrcHome

看了下极客时间—Kafka核心技术与实战的目录介绍，加上大佬有《Apache Kafka实战》，应该这样的配套更全面。

那就开始学习吧。

Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。

kafka 基本概念

1. Broker：Kafka 集群由多个 Kafka 实例（server） 组成，每个实例构成一个 broker，说白了就是服务器；
2. Producer：生产者，即消息发送者，push 消息到 Kafka 集群中的 broker（就是 server）中
3. Topic：主题，producer 向 kafka 集群 push 的消息会被归于某一类别，即Topic，这本质上只是一个逻辑概念，面向的对象是 producer 和 consumer，
   1. producer 只需要关注将消息 push 到哪一个 Topic 中，
   2. consumer 只需要关心自己订阅了哪个 Topic；
4. Partition：每一个 Topic 又被分为多个 Partitions，即物理分区；
   1. 出于负载均衡的考虑，同一个 Topic 的 Partitions 分别存储于 Kafka 集群的多个 broker 上；
   2. 为了提高可靠性，这些 Partitions 可以由 Kafka 机制中的 replicas 来设置备份的数量；
5. Consumer：消费者，从 Kafka 集群的 broker 中 pull 消息、消费消息；
6. Consumer group：high-level consumer API 中，每个 consumer 都属于一个 consumer-group，每条消息只能被 consumer-group 中的一个 Consumer 消费，但可以被多个 consumer-group 消费；
7. Replica。Kafka 中消息的备份又叫做副本（Replica），副本的数量是可以配置的，Kafka 定义了两类副本：
   1. 领导者副本（Leader Replica）
   2. 追随者副本（Follower Replica）
   3. 前者对外提供服务，后者只是被动跟随
8. Offset： 消息位移， 表示分区中每条消息的位置信息，是一个单调递增且不变的值
9. Consumer Offset： 消费者位移，表征消费者消费进度，每个消费者都有自己的消费者位移。
10. ZooKeeper：Kafka 通过 ZooKeeper 来存储集群的 meta 信息等；

kafka 与 Zookeeper

Kafka的服务器端由被称为 Broker 的服务进程构成，即一个 Kafka 集群由多个 Broker 组成，Broker 负责接收和处理客户端发送过来的请求，以及对消息进行持久化；

该部分需要结合zk, 后续再学习。

定位

Kafka的定位：Kafka 不再是一个单纯的消息引擎系统，而是能够实现精确一次（Exactly-once）处理语义的实时流处理平台。

1. Apache Kafka，也称社区版 Kafka。优势在于迭代速度快，社区响应度高，使用它可以 让你有更高的把控度；缺陷在于仅提供基础核心组件，缺失一些高级的特性。
2. Confluent Kafka，Confluent 公司提供的 Kafka。优势在于集成了很多高级特性且由 Kafka 原班人马打造，质量上有保证；缺陷在于相关文档资料不全，普及率较低，没有太 多可供参考的范例。
3. CDH/HDP Kafka，大数据云公司提供的 Kafka，内嵌 Apache Kafka。优势在于操作简 单，节省运维成本；缺陷在于把控度低，演进速度较慢。

部署方案

操作系统

磁盘容量

每天 1 亿条 1KB 大小的消息，保存两份且留存两周的时间，Kafka 集群需要为这个业务预 留多少磁盘空间吗？

带宽

配置

改变当前broker 0上的log cleaner threads可以通过下面命令实现：
> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --add-config log.cleaner.threads=2

查看当前broker 0的动态配置参数：
> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --describe

删除broker id为0的server上的配置参数/设置为默认值：
> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --delete-config log.cleaner.threads

同时更新集群上所有broker上的参数（cluster-wide类型，保持所有brokers上参数的一致性）：
> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --alter --add-config log.cleaner.threads=2

查看当前集群中动态的cluster-wide类型的参数列表：
> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --describe

可在创建topic时，通过--config进行指定项的参数配置，覆盖默认配置：
> bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1 --replication-factor 1 --config max.message.bytes=1000000 --config flush.messages=1

也可以在创建topic之后通过config.sh文件对其中的特定指标进行修改，下面操作对my-topic相关指标进行配置：
> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --add-config max.message.bytes=1000000

查看是否修改成功：
> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --describe

也可以撤销/删除某些指定配置，将该项重置为默认配置：
> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --delete-config max.message.bytes

问题汇总

问题摘录–极客时间—Kafka核心技术与实战

参考

kafka 推荐书籍？
kafka 中文文档
深入浅出理解基于 Kafka 和 ZooKeeper 的分布式消息队列

注意：本文归作者所有，未经作者允许，不得转载