[kafka] 【高级】kafka消息处理过程与集群维护视频教程附讲义 4课

  [复制链接]
查看: 560|回复: 22

该用户从未签到

1

好友

300

主题

4

精华

管理员

Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20

积分
680
经验
6
学豆
32640

灌水之王分享达人至尊VIP荣耀VIP论坛元老

发表于 2017-4-22 22:06:03 | 显示全部楼层 |阅读模式
课程介绍:

本课程首先从磁盘随机和顺序读讲解 kafka 消息写入、删除的原理,然后会重点讲解 kafka 消息的检索(kafka consumer 定点消费原理),在之后会讲解 kafka 集群的维护,主要包括 kafka 集群的分区 leader 平衡,kafka 集群日志文件 broker 迁移等,最后会通过 Kafka Offset Monitor 和 Kafka Manager 两个 kafka 集群的监控工具对 kafka 集群进行监控。

课程背景:

前面两节课我们搭建了 kafka 集群,也能够使用 Python 和 Java 两种常用的服务器端语言编写 kafka producer 和 kafka consumer,这节课首先从 kafka 消息组织原理和检索原理方面对 kafka 的架构进行深入和详细的剖析。其次在生产环境中需要服务的高可用性,那么就不可避免的需要对 kafka 集群进行监控,本课程会介绍两种目前常用的 kafka 集群监控工具。最后当生产环境出现功能和性能上的问题时,需要立刻解决,本课程也讲解了 kafka 集群的维护和优化。

核心内容:

1、kafka server 消息的写入原理;
2、kafka server 消息的删除原理;
3、kafka 消息的检索原理;
4、kafka 集群的维护;
5、kafka 集群的监控

软件环境:Linux服务器至少一台;zookeeper-3.4.6;kafka_2.9.2-0.8.1.1

课程等级:高级

适合人群:

需要进行大量日志传输;有kafka基础知识;需要更近一步了解原理的大数据爱好者

课程目录:

1 kafka 消息组织原理 28:26
本课时首先讲解磁盘顺序写和随机写性能上的差别,然后讲解kafka 消息的写入(利用磁盘顺序写性能高)原理,最后会结合kafka 集群配置参数对 kafka 消息的删除原理进行详细的介绍
2 kafka 消息检索原理 13:16
本课时首先会讲解 kafka 消息 segment file 的组成和物理结构,然后会讲解 kafka 消息的 index file 的组成和物理结构,最后会详细讲解 kafka 通过 segment file 和 index file 检索某条特定消息的过程
3 kafka集群维护 25:07
本课时首先会讲解如何通过集群脚本动态的更新集群的配置、动态的查看集群的状态,其次会详细介绍 kafka 集群的 leader 平衡机制和动态进行集群的 leader平衡,最后对已存在 kafka 集群磁盘日志文件 broker 迁移过程进行讲解
4 kafka集群监控 17:07
本课时首先会对 Kafka 集群的两种监控工具 Kafka Offset Monitor 和Kafka Manager 进行介绍,然后会分别利用两种监控工具对 kafka集群进行监控做详细的讲解

课程展示:

QQ截图20170328230516.png
QQ截图20170328230528.png

下载地址:
回复可查看课程下载地址&提取码
游客,如果您要查看本帖隐藏内容请回复

学豆不足请充值:充值  开通VIP全站课程免学豆下载:开通VIP  QQ:2659147209
回复

使用道具 举报

该用户从未签到

0

好友

0

主题

0

精华

LV.1 菜小白

Rank: 1

积分
5
经验
0
学豆
0
发表于 2017-5-4 16:07:36 | 显示全部楼层
回复 支持 反对

使用道具 举报

  • TA的每日心情

    2018-9-9 10:53
  • 签到天数: 8 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    0

    好友

    0

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    265
    经验
    145
    学豆
    20

    至尊VIP

    发表于 2017-5-7 15:59:13 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2018-9-9 16:11
  • 签到天数: 12 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    0

    好友

    1

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    233
    经验
    165
    学豆
    15

    至尊VIP

    发表于 2017-8-26 20:08:56 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2018-9-7 19:05
  • 签到天数: 34 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    好友

    0

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    1054
    经验
    569
    学豆
    0

    荣耀VIP

    发表于 2017-8-31 10:46:50 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    昨天 21:36
  • 签到天数: 34 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    好友

    2

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    1009
    经验
    610
    学豆
    40

    荣耀VIP

    发表于 2017-11-12 00:47:21 | 显示全部楼层
    谢谢分享。。。。。。。。。。。
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2018-7-27 00:31
  • 签到天数: 5 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    0

    好友

    3

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    320
    经验
    88
    学豆
    61

    至尊VIP

    发表于 2017-11-16 20:15:14 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2018-9-10 17:35
  • 签到天数: 37 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    好友

    2

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    989
    经验
    606
    学豆
    5

    至尊VIP

    发表于 2017-11-29 22:09:45 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2018-9-4 10:03
  • 签到天数: 7 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    0

    好友

    0

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    498
    经验
    136
    学豆
    10

    荣耀VIP

    发表于 2017-12-2 23:11:16 | 显示全部楼层
    【高级】kafka消息处理过程与集群维护视频教程附讲义 4课
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2018-8-19 15:56
  • 签到天数: 40 天

    连续签到: 2 天

    [LV.5]常住居民I

    0

    好友

    0

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    1150
    经验
    702
    学豆
    0

    荣耀VIP

    发表于 2018-1-24 08:18:53 手机频道 | 显示全部楼层
    回复

    使用道具 举报

    快捷回复:
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /5 下一条

    快速回复 返回顶部 返回列表