[大数据] Storm技术内幕与大数据实践

  [复制链接]
查看: 696|回复: 26
  • TA的每日心情
    擦汗
    2018-9-28 20:52
  • 签到天数: 123 天

    连续签到: 1 天

    [LV.7]常住居民III

    0

    好友

    2

    主题

    0

    精华

    LV.6 技术总监

    Rank: 9Rank: 9Rank: 9

    积分
    1825
    经验
    1631
    学豆
    310
    发表于 2017-11-5 23:04:35 | 显示全部楼层 |阅读模式
    《Storm技术内幕与大数据实践》从实时大数据平台的整体架构,到大众点评和1号店实时平台的具体介绍,再通过一张张顺序图讲解了Storm的内部机制,从外到里,从下到上,一步步介绍了互联网公司实时大数据平台的整体情况。
    此外,用户画像已经慢慢成为很多公司的基础数据,支撑着公司内部大数据应用的个性化和精准化,如何让用户的短期画像更新得更及时,如何融入外部公司的大数据,也是不少公司面临的问题。本书分享了作者在融合外部数据方面的一些感悟,希望对摸索融合外部数据的用户有益。书的还介绍了推荐系统、精准化广告、搜索等一些常见的大数据应用。


    第1章 绪论
     1.1 Storm的基本组件
      1.1.1 集群组成
      1.1.2 核心概念
      1.1.3 Storm的可靠性
      1.1.4 Storm的特性
     1.2 其他流式处理框架
      1.2.1 Apache S4
      1.2.2 Spark Streaming
      1.2.3 流计算和Storm的应用
    第2章 实时平台介绍
     2.1 实时平台架构介绍
     2.2 Kafka架构
      2.2.1 Kafka的基本术语和概念
      2.2.2 Kafka在实时平台中的应用
      2.2.3 消息的持久化和顺序读写
      2.2.4 sendfile系统调用和零复制
      2.2.5 Kafka的客户端
      2.2.6 Kafka的扩展
     2.3 大众点评实时平台
      2.3.1 相关数据
      2.3.2 实时平台简介
      2.3.3 Blackhole
     2.4 1号店实时平台
    第3章 Storm集群部署和配置
     3.1 Storm的依赖组件
     3.2 Storm的部署环境
     3.3 部署Storm服务
      3.3.1 部署ZooKeeper
      3.3.2 部署Storm
      3.3.3 配置Storm
     3.4 启动Storm
     3.5 Storm的守护进程
     3.6 部署Storm的其他节点
     3.7 提交Topology
    第4章 Storm内部剖析
     4.1 Storm客户端
     4.2 Nimbus
      4.2.1 启动Nimbus服务
      4.2.2 Nimbus服务的执行过程
      4.2.3 分配Executor
      4.2.4 调度器
      4.2.5 默认调度器DefaultScheduler
      4.2.6 均衡调度器EvenScheduler
     4.3 Supervisor
      4.3.1 ISupervisor接口
      4.3.2 Supervisor的共享数据
      4.3.3 Supervisor的执行过程
     4.4 Worker
      4.4.1 Worker中的数据流
      4.4.2 创建Worker的过程
     4.5 Executor
      4.5.1 Executor的创建
      4.5.2 创建Spout的Executor
      4.5.3 创建Bolt的Executor
     4.6 Task
      4.6.1 Task的上下文对象
      4.6.2 Task的创建
     4.7 Storm中的统计
      4.7.1 stats框架
      4.7.2 metric框架
     4.8 Ack框架
      4.8.1 Ack的原理
      4.8.2 Acker Bolt
     4.9 Storm总体架构
    第5章 Storm运维和监控
     5.1 主机信息监控
     5.1 日志和监控
     5.2 Storm UI和NimbusClient
     5.3 Storm Metric的使用
     5.4 Storm ZooKeeper的目录
     5.5 Storm Hook的使用
    第6章 Storm的扩展
     6.1 Storm UI的扩展
      6.1.1 Storm UI原生功能
      6.1.2 Storm UI新功能需求
      6.1.3 Storm的Thrift接口
     6.2 资源隔离
      6.2.1 CGroup测试
      6.2.2 基于CGroup的资源隔离的实现
    第7章 Storm开发
     7.1 简单示例
     7.2 调试和日志
     7.3 Storm Trident
     7.4 Strom DRPC
    第8章 基于Storm的实时数据平台
     8.1 Hadoop到Storm的代码迁移经验
     8.2 实时用户画像
      8.2.1 简单实时画像
      8.2.2 实时画像优化
      8.2.3 实时画像的毫秒级更新
     8.3 其他场景画像
     8.4 画像的兴趣度模型构建
     8.5 外部画像融合经验分享
     8.6 交互式查询和分析用户画像
     8.7 实时产品和店铺信息更新
    第9章 大数据应用案例
     9.1 实时DAU计算
     9.2 实时个性化推荐
      9.2.1 推荐系统介绍
      9.2.2 实时推荐系统的方法
      9.2.3 基于Storm的实时推荐系统
     9.3 广告投放的精准化
      9.3.1 点击率预测
      9.3.2 搜索引擎营销
      9.3.3 精准化营销与千人千面
     9.4 实时意图和搜索
      9.4.1 用户意图预测
      9.4.2 搜索比价
      9.4.3 搜索排序
    第10章 Storm使用经验和性能优化
     10.1 使用经验
      10.1.1 使用rebalance命令动态调整并发度
      10.1.2 使用tick消息做定时器
      10.1.3 使用组件的并行度代替线程池
      10.1.4 不要用DRPC批量处理大数据
      10.1.5 不要在Spout中处理耗时的操作
      10.1.6 log4j的使用技巧
      10.1.7 注意fieldsGrouping的数据均衡性
      10.1.8 优先使用localOrShuffleGrouping
      10.1.9 设置合理的MaxSpoutPending值
      10.1.10 设置合理的Worker数
      10.1.11 平衡吞吐量和时效性
     10.2 性能优化
      10.2.1 找到Topology的性能瓶颈
      10.2.2 GC参数优化
      10.3 性能优化原则
     附录A Kafka原理
     附录B 将Storm源码导入Eclipse




    下载地址:
    回复可查看课程下载地址&提取码(10)
    游客,如果您要查看本帖隐藏内容请回复

    学豆不足请充值:充值  开通VIP全站课程免学豆下载:开通VIP  QQ:2659147209

    该会员没有填写今日想说内容.
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    2018-9-28 20:52
  • 签到天数: 123 天

    连续签到: 1 天

    [LV.7]常住居民III

    0

    好友

    2

    主题

    0

    精华

    LV.6 技术总监

    Rank: 9Rank: 9Rank: 9

    积分
    1825
    经验
    1631
    学豆
    310
     楼主| 发表于 2017-11-5 23:05:11 | 显示全部楼层
    该会员没有填写今日想说内容.
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-4-14 16:39
  • 签到天数: 14 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    0

    好友

    0

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    255
    经验
    231
    学豆
    5

    荣耀VIP

    发表于 2017-11-7 12:36:46 | 显示全部楼层
    最近在找Storm方面的资料,下载下来看看。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-5-13 13:20
  • 签到天数: 30 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    好友

    3

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    567
    经验
    458
    学豆
    20

    荣耀VIP

    发表于 2017-11-7 12:49:55 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-5-13 13:20
  • 签到天数: 30 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    好友

    3

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    567
    经验
    458
    学豆
    20

    荣耀VIP

    发表于 2017-11-7 12:57:22 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    好友

    0

    主题

    0

    精华

    LV.1 菜小白

    Rank: 1

    积分
    1
    经验
    0
    学豆
    5
    发表于 2017-11-8 00:10:52 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    好友

    0

    主题

    0

    精华

    LV.1 菜小白

    Rank: 1

    积分
    1
    经验
    0
    学豆
    5
    发表于 2017-11-8 00:14:11 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2019-2-12 13:42
  • 签到天数: 111 天

    连续签到: 1 天

    [LV.6]常住居民II

    0

    好友

    0

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    2335
    经验
    2065
    学豆
    1842

    至尊VIP

    QQ
    发表于 2017-11-8 10:04:54 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-2-10 22:35
  • 签到天数: 214 天

    连续签到: 2 天

    [LV.7]常住居民III

    0

    好友

    4

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    5705
    经验
    5071
    学豆
    30

    荣耀VIP

    发表于 2017-11-9 08:14:30 | 显示全部楼层
    感谢楼主分享,正确的学习路线比课程更重要
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    好友

    0

    主题

    0

    精华

    LV.1 菜小白

    Rank: 1

    积分
    1
    经验
    0
    学豆
    5
    发表于 2017-11-11 11:54:01 | 显示全部楼层
    感觉来对了,一起自学吧大数据的课程太全了,无论什么时候都能用的到。
    回复 支持 反对

    使用道具 举报

    快捷回复:
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /5 下一条

    快速回复 返回顶部 返回列表