Kafka是什么

Kafka 是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

对于像 Hadoop 一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka 的目的是通过 Hadoop 的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，由 Scala 和 Java 编写。

Kafka 最初是由领英开发，并随后于 2011 年初开源，并于 2012 年 10 月 23 日由 Apache Incubator 孵化出站。2014 年 11 月，几个曾在领英为 Kafka 工作的工程师，创建了名为 Confluent 的新公司，并着眼于 Kafka。根据 2014 年 Quora 的帖子，Jay Kreps 似乎已经将它以作家弗朗茨·卡夫卡命名。Kreps 选择将该系统以一个作家命名是因为，它是“一个用于优化写作的系统”，而且他很喜欢卡夫卡的作品。

Kafka 存储的消息来自任意多被称为“生产者”（Producer）的进程。数据从而可以被分配到不同的“分区”（Partition）、不同的“Topic”下。在一个分区内，这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”（Consumer）的进程可以从分区查询消息。Kafka 运行在一个由一台或多台服务器组成的集群上，并且分区可以跨集群结点分布。

Kafka 高效地处理实时流式数据，可以实现与 Storm、HBase 和 Spark 的集成。作为聚类部署到多台服务器上，Kafka 处理它所有的发布和订阅消息系统使用了四个 API，即生产者 API、消费者 API、Stream API 和 Connector API。它能够传递大规模流式消息，自带容错功能，已经取代了一些传统消息系统，如 JMS、AMQP 等。

Kafka 架构的主要术语包括 Topic、Record 和 Broker。Topic 由 Record 组成，Record 持有不同的信息，而 Broker 则负责复制消息。Kafka 有四个主要 API：

• 生产者 API：支持应用程序发布 Record 流。
• 消费者 API：支持应用程序订阅 Topic 和处理 Record 流。
• Stream API：将输入流转换为输出流，并产生结果。
• Connector API：执行可重用的生产者和消费者 API，可将 Topic 链接到现有应用程序。

相关术语

• Topic 用来对消息进行分类，每个进入到 Kafka 的信息都会被放到一个 Topic 下
• Broker 用来实现数据存储的主机服务器
• Partition 每个 Topic 中的消息会被分为若干个 Partition，以提高消息的处理效率
• Producer 消息的生产者
• Consumer 消息的消费者
• Consumer Group 消息的消费群组

Kafka 的性能

由于其广泛集成到企业级基础设施中，监测 Kafka 在规模运行中的性能成为一个日益重要的问题。监测端到端性能，要求跟踪所有指标，包括 Broker、消费者和生产者。除此之外还要监测 ZooKeeper，Kafka 用它来协调各个消费者。当前有一些监测平台可以跟踪卡夫卡的性能，有开源的，如领英的 Burrow；也有付费的，如 Datadog。除了这些平台之外，收集 Kafka 的数据也可以使用工具来进行，这些工具一般需要 Java，包括 JConsole。