SparkSQL极速入门 整合Kudu实现广告业务数据分析

  [复制链接]
查看: 701|回复: 79

该用户从未签到

0

好友

1

主题

0

精华

高级会员

Rank: 6Rank: 6

积分
7
经验
0
学豆
4250
发表于 2019-12-25 22:23:56 | 显示全部楼层 |阅读模式
本帖最后由 弦乐飘飘 于 2019-12-25 22:27 编辑

课程展示:

QQ截图20191225222139.jpg

课程介绍:

第1章 课程介绍&学习指南
本章会对这门课程进行说明并进行学习方法介绍。

第2章 为什么要学Spark
Spark作为近几年最火爆的大数据处理技术,是成为大数据工程师必备的技能之一。本章节将从如下几个方面对Spark进行一个宏观上的介绍:Spark产生背景、特性、环境部署、Spark与Hadoop的对比、Spark开发语言及运行模式等。

第3章 Spark SQL快速入门
Spark SQL面世已来,深受小伙伴们的喜爱,继续为Spark用户提供高性能SQL on Hadoop解决方案,还为Spark带来了通用、高效、多元一体的结构化数据处理能力。本章将从为什么要学习SQL/Spark SQL、SQL on Hadoop框架、Spark SQL概述、架构及快速入门,这几个角度进行展开讲解...

第4章 Spark SQL API编程
DataFrame&Dataset是Spark2.x中最核心的编程对象,Spark2.x中的子框架能够使用DataFrame或Dataset来进行数据的交互操作。本章将从DataFrame的概述、DataFrame对比RDD、DataFrame API操作等方面对DataFrame做详细的编程开发讲解。

第5章 Data Source API
Spark SQL中的核心功能,可以使用Data Source API非常方便的对存储在不同系统上的不同格式的数据进行操作。本章将讲解如何使用Data Source API来操作text、json、Parquet、JDBC中的数据以及综合使用。

第6章 整合Hive操作及函数
如何使用Spark对接已有数据仓库Hive中的数据,这是在生产中常见的问题。本章将讲解如何使用Spark无缝对接Hive中已有数据进行处理,thriftserver的使用、以及如何使用Spark SQL中的内置函数以及自定义函数。

第7章 Kudu入门
近两年,KUDU在大数据平台的应用越来越广泛,她是Cloudera开源的运行在Hadoop平台上的列式存储系统,能够为我们提供“fast analytics on fast data”。本章将从Kudu的核心概念、架构、部署、API操作以及Spark整合Kudu的使用展开讲解。

第8章 基于Spark SQL和Kudu的广告业务项目实战(一)
本章使用Spark SQL整合Kudu对广告业务项目进行统计分析操作。涉及到的过程有:项目架构、数据清洗、数据统计、结果入库、项目重构。通过本实战项目将Spark SQL和Kudu中的知识点融会贯通,达到举一反三的效果 。

第9章 基于Spark SQL和Kudu的广告业务项目实战(二)
基于上一章节做更复杂维度的统计分析,作业的封装、调度。

第10章 Spark调优策略
Spark应用调优是一个在生产上或者面试中老生常谈的问题,本章节将从资源设置、广播变量、Shuffle、JVM引发的相关角度逐一展开讲解。

第11章 Presto初识
Preso也是当下用的非常多的一种SQL on Hadoop的解决方案。本章节将从Presto架构、API操作等角度出发,通过一个案例来进行综合演练。

第12章 云平台建设的思考
本章将从如何建设大数据云平台的角度,涉及到数据平台的N个方面,是小伙伴以后进入大厂工作奠定基础,同时也会从Spark vs Flink的角度来为小伙伴们分析选型时的疑惑。

下载地址:
回复可查看课程下载链接&提取码(04)20191216大数据

游客,如果您要查看本帖隐藏内容请回复


回复

使用道具 举报

  • TA的每日心情
    慵懒
    2019-11-20 12:45
  • 签到天数: 8 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    0

    好友

    0

    主题

    0

    精华

    年度会员

    Rank: 10Rank: 10Rank: 10

    积分
    241
    经验
    60
    学豆
    5
    发表于 2019-12-25 23:56:58 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    昨天 09:34
  • 签到天数: 473 天

    连续签到: 4 天

    [LV.9]以坛为家II

    0

    好友

    6

    主题

    0

    精华

    LV.7 首席技术顾问

    Rank: 10Rank: 10Rank: 10

    积分
    19296
    经验
    16614
    学豆
    2655
    发表于 2019-12-26 10:01:35 | 显示全部楼层
    怀疑自己并不可怕,可怕的是一再怀疑自己——沃.兹基硕德
    该会员没有填写今日想说内容.
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2020-3-20 10:10
  • 签到天数: 272 天

    连续签到: 1 天

    [LV.8]以坛为家I

    0

    好友

    3

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    6785
    经验
    6178
    学豆
    3925

    至尊VIP

    发表于 2019-12-26 14:54:19 | 显示全部楼层
    学习是一群志同道合的人在一起碰撞的过程。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    2019-12-27 12:21
  • 签到天数: 2 天

    连续签到: 2 天

    [LV.1]初来乍到

    0

    好友

    0

    主题

    0

    精华

    LV.1 菜小白

    Rank: 1

    积分
    23
    经验
    17
    学豆
    5
    发表于 2019-12-26 17:36:49 | 显示全部楼层
    该会员没有填写今日想说内容.
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2019-11-29 08:40
  • 签到天数: 251 天

    连续签到: 17 天

    [LV.8]以坛为家I

    0

    好友

    2

    主题

    0

    精华

    体验会员

    Rank: 3Rank: 3

    积分
    11722
    经验
    10680
    学豆
    15
    发表于 2019-12-27 20:26:59 | 显示全部楼层
    学习是一群志同道合的人在一起碰撞的过程。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2019-11-29 08:40
  • 签到天数: 251 天

    连续签到: 17 天

    [LV.8]以坛为家I

    0

    好友

    2

    主题

    0

    精华

    体验会员

    Rank: 3Rank: 3

    积分
    11722
    经验
    10680
    学豆
    15
    发表于 2019-12-27 20:27:10 | 显示全部楼层
    学习是一群志同道合的人在一起碰撞的过程。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    昨天 19:55
  • 签到天数: 321 天

    连续签到: 1 天

    [LV.8]以坛为家I

    0

    好友

    3

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    11951
    经验
    11058
    学豆
    5

    荣耀VIP

    发表于 2019-12-28 22:24:24 | 显示全部楼层
    时光总在犹豫不觉中蹉跎,可不去犯错,又怎能有收获.....
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    1 小时前
  • 签到天数: 193 天

    连续签到: 1 天

    [LV.7]常住居民III

    0

    好友

    4

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    3398
    经验
    3086
    学豆
    5

    荣耀VIP

    发表于 2019-12-29 11:00:05 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2020-3-7 08:24
  • 签到天数: 118 天

    连续签到: 1 天

    [LV.6]常住居民II

    0

    好友

    3

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    2762
    经验
    2209
    学豆
    10

    荣耀VIP至尊VIP

    发表于 2019-12-29 13:21:35 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

    快捷回复:
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /5 下一条

    快速回复 返回顶部 返回列表