- UID
- 8379
- 在线时间
- 23 小时
- 注册时间
- 2017-10-23
- 在线时间
- 23 小时
TA的每日心情 | 奋斗
7 天前 |
|---|
签到天数: 16 天 连续签到: 1 天 [LV.4]偶尔看看III
LV.5 高级架构师
  
- 积分
- 511
- 经验
- 177
- 学豆
- 6287
|
本帖最后由 淡淡一笑 于 2018-9-12 12:17 编辑
课程介绍：
本套课程主要讲解目前大数据领域热门、火爆、有前景的技术—Spark，在本课程中，会从浅入深，基于大量案例实战，深度剖析和讲解Spark,并且会包含完整的从企业真实复杂业务需求中抽取出的案例作为实战，课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、性能优化、企业级案例实战等部分，完全从零起步，让大家可以一站式精通Spark企业级大数据开发，提升自己的职场竞争力，实现更好的升职或者跳槽，或者从j2ee等传统软件开发工程师哦转型为Spark大数据开发工程师，或是对于正在从事hadoop大数据开发的朋友可以扩宽自己的技术能力，提升自己的价值。
版本介绍：
涵盖Spark1.x到Spark2.x版本，2.0是后期升级的课程，大家千万不要以为spark2.X完全颠覆了Spark1.x，因此Spark1.x的东西不用学了，那是完全错误的想法！事实相反，实际上Spark2.x与Spark1.x一脉相承，2.x完全是在1.x的基础上进行了功能的完善，底层引擎的优化，以及新的功能模块的增加。
开发环境介绍：
开发工具：Eclipse、Scala IDE for Eclipse;
Spark: 1.3.0和1.5.1 2.0(升级版本)
Hadoop:2.4.1
Hive:0.13
ZooKeeper:3.4.5
Kafka:2.9.2-0.8.1
其他工具：SecureCRT、WINscp、VirtualBox等
课程目录：
第1课到第22课： 主要讲解Scala编程介绍及精通，Scala作为Spark框架的编程语言，打好基础非常重要
第22课到第27课：主要讲解课程环境的搭建，CentOS 6.5集群搭建，Hadoop 2.4.1集群搭建，Hive 0.13搭建，ZooKeeper 3.4.5集群搭建，kafka_2.9.2-0.8.1集群搭建，Spark 1.3.0集群搭建
第28课到第40课：主要讲解Spark核心编程，从基础工作原理，wordcount程序，Spark架构原理，RDD实战，transformation/action操作开发案例实战
第41课到第58课：主要讲解Spark内核源码解析，Yarn的两种提交模式，SparkContext，Master，Worker，DAGScheduler，TaskScheduler
第59课到第70课：主要讲解Spark性能优化，性能优化，内存的消耗，高性能序列化类库，数据本地化，shuffle性能优化
第71课到第87课：主要讲解Spark SQL ,DataFrame的使用,RDD转换为DataFrame,Parquet数据源,Hive数据源复杂综合案例实战,UDF函数实战
第88课到第112课：主要讲解Spark Streaming，大数据实时计算，DStream，Storm的对比分析，wordcount程序开发，DStream和Receiver详解
第113课到第136课：Scala编程进阶，Scaladoc的使用，Tuple拉链操作、Java Map与Scala Map的隐式转换，package与import实战详解
第137课到第198课：主要讲解Spark核心编程进阶，CentOS 6.4虚拟机安装，Hadoop 2.5伪分布式集群搭建，Spark 1.5伪分布式集群搭建，Spark集群架构
第199课到第209课：主要讲解Spark内核原理进阶，union算子，groupByKey算子，reduceByKey算子，distinct算子，cogroup算子
第210课到第219课：Hive 0.13安装与测试，Thrift JDBC、ODBC Server，CLI命令行使用，综合案例
第220课到第230课：flume安装，Receiver，kafka安装，综合案例
第231课到第245课：主要讲解Spark运维管理进阶，ZooKeeper实现HA高可用性，于文件系统实现HA高可用，通过Spark Web UI进行作业监控，静态资源分配原理
第246课到278课：最新的升级内容，主要讲解Spark 2.0新特性，环境安装，开发环境搭建，Dataset开发
下载地址
回复可查看课程下载链接&提取码(10)
|
|
[复制链接]
/5 
发表于 
