一、简介

Kafka 是一种快速的、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

几种分布式系统消息系统的对比：

推荐相关文章：有关于各种消息队列的对比，还有对 Kafka 的深度解析，这是众人都推荐的精彩好文！

二、Kafka基本架构

它的架构包括以下组件：

话题是特定类型的消息流。消息是以字节为形式的有效负载，而话题则是消息的分类名或者种子名。

2、生产者（）：是能够发布消息到话题的任何对象；

服务代理：已发布的消息被保存在一组服务器里，这些服务器被称作代理或者 Kafka 集群。

消费者能够订阅一个或者多个话题，然后从拉数据，以此来消费这些已经发布的消息。

从上图中能够看出，生产者会把数据发送给代理，而代理拥有多个话题，即 topic，消费者会从代理那里获取数据。

三、基本原理

我们把消息的发布叫做[某种称呼]，把消息的订阅表述为[另一种表述]，把中间的存储阵列称作(代理)，如此便能大致描绘出这样一个场面：

生产者把数据生产出来，接着把它交给某一方进行存储。当消费者需要消费数据时，就从存储之处拿出数据，之后完成一系列针对数据的处理操作。

乍一看，它似乎太简单了。不是已经说了它是分布式的吗？难道仅仅把、和放在三台不同的机器上就算是分布式了吗？看 kafka 官方给出的图：

多个部分协同合作，它们在各个业务逻辑中被频繁调用。这三者通过管理协调请求和转发来实现功能。如此一来，一个高性能的分布式消息发布订阅系统便完成了。

图上有个细节需留意，从一处到另一处的过程是 push，意味着有数据就会推送到目的地；从一处到另一处的过程是 pull，是通过特定方式主动去拉数据，而非将数据主动发送到另一端。

四、在kafka的作用

上述，提到了，那么在kafka的作用是什么？

kafka 集群依赖于某些东西来保证系统可用性，同时集群也保存一些 meta 信息。

Kafka 以其分布式协调框架而被使用，它能很好地把消息生产、消息存储以及消息消费的过程整合在一起。

同时借助 kafka，生产者、消费者以及包括在内的所有组件在无状态的情况下，可以建立起生产者和消费者的订阅关系，并且能够实现生产者与消费者的负载均衡。

五、执行流程

首先看一下如下的过程：

我们来看上面的图，将  的数量进行减少，只剩下一台。现在假定我们依据上图来进行部署：

其实就是 kafka 相关的。因为某些东西和某些东西都需要去归还它。它主要还是用于存储。

-2 是某一端，它维持着一张表，此表记录了各个节点的 IP 以及端口等信息。

3、4、5 他们的共同之处在于都进行了配置。更确切地说，就是在运行前必须配置相关的地址。道理其实很简单，因为它们之间的连接都需要通过某种方式来进行分发。

-1 和 -2 的关系是，它们既可以放置在一台机器上，也可以分别放置，还可以搭配集群。这样做的目的是为了防止其中某一台出现故障。

简单说下整个系统运行的顺序：

（1）启动 的

（2）启动kafka 的

如果有数据被生产出来，首先会通过某种方式去寻找，接着把数据存放到相应的地方。

（4） 如果要消费数据，会先通过  找对应的 ，然后消费。

六、Kafka的特性

高吞吐量方面，kafka 每秒能够处理几十万条消息；低延迟方面，它的延迟最低仅为几毫秒；每个 topic 可以进行划分，并且可以对多个 group 进行操作。

（2）可扩展性：kafka集群支持热扩展；

消息会被持久化存储在本地磁盘，同时具备支持数据备份的功能，以此来防止数据丢失。

容错性方面，集群中的节点是允许失败的。如果副本数量为 n，那么就允许 n - 1 个节点失败。

（5）高并发：支持数千个客户端同时读写；

支持实时在线处理与离线处理：能够运用 Storm 这样的实时流处理系统来对消息进行实时处理，并且也可以利用这种批处理系统来进行离线处理。

七、Kafka的使用场景

日志收集方面，一个公司能够利用 Kafka 来收集各类服务的 log 。Kafka 以统一接口服务的形式，将这些 log 开放给诸如 Hbase、Solr 等各种服务。

（2）消息系统：解耦和生产者和消费者、缓存消息等；

用户活动会被跟踪。Kafka 常常被用于记录 web 用户或者 app 用户的各类活动，像浏览网页、进行搜索、点击等活动。这些活动的信息会被各个服务器发布到 Kafka 的 topic 里。接着，订阅者通过订阅这些 topic 来进行实时的监控分析，也可以将其装载到数据仓库中进行离线分析和挖掘。

运营指标方面，Kafka 时常被用于记录运营监控数据。它能够收集各类分布式应用的数据，并且生成各种操作的集中反馈，例如报警和报告。

（5）流式处理：比如spark 和storm；

（6）事件源；

# 重庆规划建设馆网站登录  # 可用性  # 鼎湖网站建设优化  # 罗田seo优化策略  # 大团网站建设  # 绥化网站优化电话  # 网站建设解决方案d  # 酒店买卖网 SEO  # 招商网站建设定制  # 玖富金融营销推广方式  # 淘宝推广营销渠道  # 它是  # 佛山seo网站推广费用  # 网站建设投资骗局案例  # SEO联盟头像动漫  # 哪些网站可发软文推广  # 汕头网站推广服务  # 汽车装饰营销推广公司简介  # 外贸网站建设爱用建站  # 网络营销服装推广方式  # seo 学费  # 营销推广买手店  # 很好  # 深入了解Apache Kafka  # 分布式发布-订阅消息系统的架构与优势  # 多个  # 离线  # 一台  # 一处  # 于都  # 这是  # 他们的  # 就会  # 深入了解Apache Kafka：分布式发布-订阅消息系统的架构与优势  # 是一种  # 放在  # 有个  # 还可以  # 说了  # 之处  # 则是  # 把它  # 将其 

相关文章： 新品牌如何熟悉小红书核心逻辑？做好这几步很关键   个人公众号与企业公众号的区别：认证及自定义菜单差异解析   超快消平台：酒水行业招商的数字新基建，驱动新消费产业*连接与增长  渠道精选：如何通过渠道*获客？  关于微信验证码还款，这些说法错误的题目你会做吗？   2025年已过去一半，哪首歌能代表你的上半年？   *理财管理系统助您财富增值  网络营销：不可或缺的商业领域部分及主要方式与策略   SAAS与私有化部署：企业数字化转型的双重选择  移动自媒体推广成趋势，手机百度搜索下拉框推广你了解吗？   裂变营销，玩转社交媒体的关键！  短视频询盘获客：新时代的获客方式  想知道西安哪些大学值得报考？武书连2025年西安高校排名前十解读来啦   未来已来，电子名片生成器开启商务社交新篇章  长虹财务云引领变革，满足集团管控新趋势，助力财务管控创新   江苏徐州警方破特大网络贩毒案，抓获140余人缴获大量毒品   怎样屏蔽微信群里的烂人？这些屏蔽方法你一定要知道   深圳SEO关键词排名下降怎么办？这些调整技巧助你逆袭   河南雷霆扫毒！去年抓获2368名毒品犯罪嫌疑人，形势如何？   免费分享！几款好用的游戏网站，Switch端pc端游戏都有啦   微信头像大小受限？这些实用方法助你全图显示   电商销售平台趋势：你的店铺在哪里销售？  如何有效拓展B端客户群体：策略与实践  1月12日凰家评测：微信测试新功能，朋友圈内容及图片将被折叠？   群脉scrm优势揭秘  超快消平台：打造快消行业数字招商新基建，驱动产业*连接与增长​​  *便捷的财务处理系统助您轻松管理  9.9全民焕新节凌晨抢货火爆，中华通网络电话受青睐？   数字化浪潮下，如何挑选网站建设公司？2025榜单揭晓亮点   进销存软件如何优化企业供应链 

相关栏目： 【 科技资讯38001 】 【 网络动态13059 】 【 技术学堂11871 】 【 网络推广75774 】 【 品牌营销52040 】 【 AI推广53525 】 【 推荐站点126806 】