以下为《1.4-分布式消息通信Kafka(一)-笔记》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

做技术人的指路明灯，做职场生涯的精神导师 课程目标 1. Kafka 产生的背景 2. kafka 的架构 3. Kafka 安装部署及集群部署 4. Kafka 的基本操作 5. Kafka 的应用 做技术人的指路明灯，做职场生涯的精神导师 Kafka 的简介 什么是 Kafka Kafka 是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被 广泛应用与大数据传输场景。它是由 LinkedIn 公司开发，使用 Scala 语言编 写，之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特 性，但是在设计和实现上是完全不同的，而且他也不是 JMS 规范的实现。 kafka 产生的背景 kafka 作为一个消息系统，早起设计的目的是用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）。活动流数据是所有的网站对用户 的使用情况做分析的时候要用到的最常规的部分,活动数据包括页面的访问量 （PV）、被查看内容方面的信息以及搜索内容。这种数据通常的处理方式是先 把各种活动以日志的形式写入某种文件，然后周期性的对这些文件进行统计分 析。运营数据指的是服务器的性能数据（CPU、IO 使用率、请求时间、服务日 志等）。 Kafka 的应用场景 由于 kafka 具有更好的吞吐量、内置分区、冗余及容错性的优点(kafka 每秒可 以处理几十万消息)，让 kafka 成为了一个很好的大规模消息处理应用的解决方 案。所以在企业级应用长，主要会应用于如下几个方面 做技术人的指路明灯，做职场生涯的精神导师 Ø 行为跟踪：kafka 可以用于跟踪用户浏览页面、搜索及其他行为。通过发布订阅模式实时记录到对应的 topic 中，通过后端大数据平台接入处理分析，并 做更进一步的实时处理和监控 Ø 日志收集：日志收集方面，有很多比较优秀的产品，比如 Apache Flume，***使用 kafka 代理日志聚合。日志聚合表示从服务器上收集日志文件，然后放到一个集中的平台（文 件服务器）进行处理。在实际应用开发中，我们应用程序的 log 都会输出到本地的磁盘上， 排查问题的话通过 linux 命令来搞定，如果应用程序组成了负载均衡集群，并且集群的机器 有几十台以上，那么想通过日志快速定位到问题，就是很麻烦的事情了。所以一般都会做一 个日志统一收集平台管理 log 日志用来快速查询重要应用的问题。所以***的套路都是 把应用日志几种到 kafka 上，然后分别导入到 es 和 hdfs 上，用来做实时检索分析和离线 统计数据备份等。而另一方面，kafka 本身又提供了很好的 api 来集成日志并且做日志收集 Kafka 本身的架构 一个典型的 kafka 集群包含若干 Producer（可以是应用节点产生的消息，也可以是通过 Flume 收集日志产生的事件），若干个 Broker（kafka 支持水平扩展）、若干个 Consumer Group，以及一个 zookeeper 集群。kafka 通过 zookeeper 管理集群配置及服务协同。 做技术人的指路明灯，做职场生涯的精神导师 Producer 使用 push 模式将消息发布到 broker，consumer 通过监听使用 pull 模式从 broker 订阅并消费消息。 多个 broker 协同工作，producer 和 consumer 部署在各个业务逻辑中。三者通过 zookeeper 管理协调请求和转发。这样就组成 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 t 情况下，新的消费者将会从其他消费者最后消费的 offset 处开始消费 Topic 下的消息 auto.offset.reset= earliest 情况下，新的消费者会从该 topic 最早的消息开始 消费 auto.offset.reset=none 情况下，新的消费者加入以后，由于之前不存在 offset，则会直接抛出异常。 max.poll.records 此设置限制每次调用 poll 返回的消息数，这样可以更容易的预测每次 poll 间隔 要处理的最大值。通过调整此值，可以减少 poll 间隔 spring-kafka 集成 详见代码-gitlab->vip-project [文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

1. 企业微信员工使用手册
2. 管理学第十三章沟通
3. 八年级英语上册-Unit-5-Lesson-30-A-Famous-Friend教案-(新版)冀教版
4. 八年级物理上册《6.2-密度》教学设计-(新版)新人教版
5. 音乐教师网络培训教学反思
6. 安全道场设计方案(1)
7. 小学微课视频推送方案
8. 教学设计模版
9. 培训效果调查问卷
10. 教师个人研修计划[1]
11. 四年级上册英语教学计划（新）
12. 面试基本原则和沟通策略
13. 阿里钉钉互联网校园疫情解决方案
14. 通过本次网络培训，我从思想上有了较为深刻的认
15. unit1Reading
16. 教学设计 Unit2 Topic 1 SectionA
17. 微教案《同类项》
18. 通过这次网络远程课的学习，对教育教学方法的改
19. 《我三十万大军胜利南渡长江》教案
20. 50米途中跑教学反思

以上为《1.4-分布式消息通信Kafka(一)-笔记》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。