一起自学吧

 找回密码
 立即注册

QQ登录

只需要一步,快速开始

基于Flume+Kafka+Spark Streaming打造实时流处理项目实战课程 企业大数据流处理平台实战教程

  [复制链接]
查看: 433|回复: 70
  • TA的每日心情
    开心
    2018-6-28 22:34
  • 签到天数: 2 天

    连续签到: 2 天

    [LV.1]初来乍到

    0

    好友

    1

    主题

    0

    精华

    LV.1 菜小白

    Rank: 1

    积分
    21
    经验
    13
    学豆
    97
    发表于 2018-6-28 23:08:00 | 显示全部楼层 |阅读模式
    课程目录:


    1-1 -导学-
    1-2 -授课习惯和学习建议
    1-3 -OOTB环境使用演示
    1-4 -Linux环境及软件版本介绍
    1-5 -Spark版本升级
    第2章 初识实时流处理
    本章节将从一个业务场景分析出发引出实时流处理的产生背景,对比离线处理和实时处理的区别,了解常用的实时流处理框架有哪些,实时流处理在企业级应用中各个环节的架构以及技术选型


    2-1 -课程目录
    2-2 -业务现状分析
    2-3 -实时流处理产生背景
    2-4 -实时流处理概述
    2-5 -离线计算和实时计算对比
    2-6 -实时流处理框架对比
    2-7 -实时流处理架构及技术选型
    2-8 -实时流处理在企业中的应用
    第3章 分布式日志收集框架Flume
    本章节将从通过一个业务场景出发引出Flume的产生背景,将讲解Flume的架构及核心组件,Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集


    3-1 -课程目录
    3-2 -业务现状分析
    3-3 -Flume概述
    3-4 -Flume架构及核心组件
    3-5 -Flume&JDK环境部署
    3-6 -Flume实战案例一
    3-7 -Flume实战案例二
    3-8 -Flume实战案例三(重点掌握)
    第4章 分布式发布订阅消息系统Kafka
    本章节将讲解Kafka的架构以及核心概念,Kafka环境的部署及脚本的使用,Kafka API编程,并通过Kafka容错性测试让大家体会到Kakfa的高可用性,并将Flume和Kafka整合起来开发一个功能


    4-1 -课程目录
    4-2 -Kafka概述
    4-3 -Kafka架构及核心概念
    4-4 -Kafka单节点单Broker部署之Zookeeper安装
    4-5 -Kafka单节点单broker的部署及使用
    4-6 -Kafka单节点多broker部署及使用
    4-7 -Kafka容错性测试
    4-8 -使用IDEA+Maven构建开发环境
    4-9 -Kafka Producer Java API编程
    4-10 -Kafka Consumer Java API编程
    4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集
    第5章 实战环境搭建
    工欲善其事必先利其器,本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装,以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境


    5-1 -课程目录
    5-2 -Scala安装
    5-3 -Maven安装
    5-4 -Hadoop环境搭建
    5-5 -HBase安装
    5-6 -Spark环境搭建
    5-7 -开发环境搭建
    第6章 Spark Streaming入门
    本章节将讲解Spark Streaming是什么,了解Spark Streaming的应用场景及发展史,并从词频统计案例入手带大家了解Spark Streaming的工作原理


    6-1 -课程目录
    6-2 -Spark Streaming概述
    6-3 -Spark Streaming应用场景
    6-4 -Spark Streaming集成Spark生态系统的使用
    6-5 -Spark Streaming发展史
    6-6 -从词频统计功能着手入门Spark Streaming
    6-7 -Spark Streaming工作原理(粗粒度)
    6-8 -Spark Streaming工作原理(细粒度)
    第7章 Spark Streaming核心概念与编程
    本章节将讲解Spark Streaming中的核心概念、常用操作,通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程


    7-1 -课程目录
    7-2 -核心概念之StreamingContext
    7-3 -核心概念之DStream
    7-4 -核心概念之Input DStreams和Receivers
    7-5 -核心概念之Transformation和Output Operations
    7-6 -案例实战之Spark Streaming处理socket数据
    7-7 -案例实战之Spark Streaming处理文件系统数据
    第8章 Spark Streaming进阶与案例实战
    本章节将讲解Spark Streaming如何处理带状态的数据,通过案例让大家知道Spark Streaming如何写数据到MySQL,Spark Streaming如何整合Spark SQL进行操作


    8-1 -课程目录
    8-2 -实战之updateStateByKey算子的使用
    8-3 -实战之将统计结果写入到MySQL数据库中
    8-4 -实战之窗口函数的使用
    8-5 -实战之黑名单过滤
    8-6 -实战之Spark Streaming整合Spark SQL操作
    第9章 Spark Streaming整合Flume
    本章节将讲解Spark Streaming整合Flume的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试


    9-1 -课程目录
    9-2 -Push方式整合之概述
    9-3 -Push方式整合之Flume Agent配置开发
    9-4 -Push方式整合之Spark Streaming应用开发
    9-5 -Push方式整合之本地环境联调
    9-6 -Push方式整合之服务器环境联调
    9-7 -Pull方式整合之概述
    9-8 -Pull方式整合之Flume Agent配置开发
    9-9 -Pull方式整合之Spark Streaming应用开发
    9-10 -Pull方式整合之本地环境联调
    9-11 -Pull方式整合之服务器环境联调
    第10章 Spark Streaming整合Kafka
    本章节将讲解Spark Streaming整合Kafka的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试


    10-1 -课程目录
    10-2 -Spark Streaming整合Kafka的版本选择详解
    10-3 -Receiver方式整合之概述
    10-4 -Receiver方式整合之Kafka测试
    10-5 -Receiver方式整合之Spark Streaming应用开发
    10-6 -Receiver方式整合之本地环境联调
    10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解
    10-8 -Direct方式整合之概述
    10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试
    10-10 -Direct方式整合之服务器环境联调
    第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础
    本章节将通过实战案例彻底打通Spark Streaming和Flume以及Kafka的综合使用,为后续项目实战打下坚实的基础


    11-1 -课程目录
    11-2 -处理流程画图剖析
    11-3 -日志产生器开发并结合log4j完成日志的输出
    11-4 -使用Flume采集Log4j产生的日志
    11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka
    11-6 -Spark Streaming消费Kafka的数据进行统计
    11-7 -本地测试和生产环境使用的拓展
    第12章 Spark Streaming项目实战
    本章节将通过一个完整的项目实战让大家学会大数据实时流处理的各个环境的整合,如何根据业务需要来设计HBase的rowkey


    12-1 -课程目录
    12-2 -需求说明
    12-3 -用户行为日志介绍
    12-4 -Python日志产生器开发之产生访问url和ip信息
    12-5 -Python日志产生器开发之产生referer和状态码信息
    12-6 -Python日志产生器开发之产生日志访问时间
    12-7 -Python日志产生器服务器测试并将日志写入到文件中
    12-8 -通过定时调度工具每一分钟产生一批数据
    12-9 -使用Flume实时收集日志信息
    12-10 -对接实时日志数据到Kafka并输出到控制台测试
    12-11 -Spark Streaming对接Kafka的数据进行消费
    12-12 -使用Spark Streaming完成数据清洗操作
    12-13 -功能一之需求分析及存储结果技术选型分析
    12-14 -功能一之数据库访问DAO层方法定义
    12-15 -功能一之HBase操作工具类开发
    12-16 -功能一之数据库访问DAO层方法实现
    12-17 -功能一之将Spark Streaming的处理结果写入到HBase中
    12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发
    12-19 -功能二之功能实现及本地测试
    12-20 -将项目运行在服务器环境中
    第13章 可视化实战
    本章节将通过两种方式来实现实时流处理结果的可视化操作,一是使用Spring Boot整合Echarts实现,二是使用更加炫酷的阿里云产品DataV来实现


    13-1 -课程目录
    13-2 -为什么需要可视化
    13-3 -构建Spring Boot项目
    13-4 -Echarts概述
    13-5 -Spring Boot整合Echarts绘制静态数据柱状图
    13-6 -Spring Boot整合Echarts绘制静态数据饼图
    13-7 -项目目录调整
    13-8 -根据天来获取HBase表中的实战课程访问次数
    13-9 -实战课程访问量domain以及dao开发
    13-10 -实战课程访问量Web层开发
    13-11 -实战课程访问量实时查询展示功能实现及扩展
    13-12 -Spring Boot项目部署到服务器上运行
    13-13 -阿里云DataV数据可视化介绍
    13-14 -DataV展示统计结果功能实现
    第14章 Java拓展
    本章节作为扩展内容,将带领大家使用Java来开始Spark应用程序,使得大家对于使用Scala以及Java来开发Spark应用程序都有很好的认识


    14-1 -课程目录
    14-2 -使用Java开发Spark应用程序
    14-3 -使用Java开发Spark Streaming应用程序


    课程大小:
    11.jpg



    下载地址
    回复可查看课程下载链接&提取码
    游客,如果您要查看本帖隐藏内容请回复
    学豆不足请充值:充值  开通VIP全站课程免学豆下载:开通VIP  QQ:2659147209
    该会员没有填写今日想说内容.
    回复

    使用道具 举报

  • TA的每日心情

    3 小时前
  • 签到天数: 78 天

    连续签到: 2 天

    [LV.6]常住居民II

    0

    好友

    2

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    2006
    经验
    1820
    学豆
    0

    荣耀VIP

    发表于 2018-7-20 11:06:07 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    昨天 15:14
  • 签到天数: 179 天

    连续签到: 11 天

    [LV.7]常住居民III

    0

    好友

    11

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    14187
    经验
    13179
    学豆
    5

    荣耀VIP

    发表于 2018-7-20 19:05:54 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    前天 10:30
  • 签到天数: 71 天

    连续签到: 3 天

    [LV.6]常住居民II

    0

    好友

    1

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    1681
    经验
    1347
    学豆
    312

    荣耀VIP

    发表于 2018-7-20 19:56:15 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 21:49
  • 签到天数: 57 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    好友

    2

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    1393
    经验
    919
    学豆
    0

    荣耀VIP

    发表于 2018-7-21 02:43:10 | 显示全部楼层
    厉害的word哥,不仅有视频课程,还有软件、电子书、学习路线。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    13 小时前
  • 签到天数: 101 天

    连续签到: 8 天

    [LV.6]常住居民II

    0

    好友

    0

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    19524
    经验
    18628
    学豆
    50

    至尊VIP

    发表于 2018-7-21 23:12:26 | 显示全部楼层
    有的人你看不见,因为他远远走在前面....
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    昨天 13:31
  • 签到天数: 93 天

    连续签到: 3 天

    [LV.6]常住居民II

    0

    好友

    1

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    2514
    经验
    2265
    学豆
    59
    发表于 2018-7-22 08:10:40 | 显示全部楼层
    时光总在犹豫不觉中蹉跎,可不去犯错,又怎能有收获.....
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    9 小时前
  • 签到天数: 185 天

    连续签到: 98 天

    [LV.7]常住居民III

    0

    好友

    1

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    31289
    经验
    30688
    学豆
    40

    荣耀VIP

    发表于 2018-7-22 12:23:31 | 显示全部楼层
    有的人你看不见,因为他远远走在前面....
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    9 小时前
  • 签到天数: 185 天

    连续签到: 98 天

    [LV.7]常住居民III

    0

    好友

    1

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    31289
    经验
    30688
    学豆
    40

    荣耀VIP

    发表于 2018-7-22 12:23:55 | 显示全部楼层
    有的人你看不见,因为他远远走在前面....
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    昨天 10:20
  • 签到天数: 115 天

    连续签到: 7 天

    [LV.6]常住居民II

    0

    好友

    0

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    3874
    经验
    3460
    学豆
    5

    荣耀VIP

    发表于 2018-7-23 08:35:11 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

    快捷回复:
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /5 下一条

    快速回复 返回顶部 返回列表