价格: 19 学币

分类: None

发布时间: 2018年4月8日 16:02

最近更新: 2022年12月11日 02:23

资源类型: VIP

课程介绍:

      本课程主要讲解目前大数据领域热门、火爆、有前景的技术——Spark。在本课程中,会从浅入深,基于大量案例实战,深度剖析和讲解Spark,并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、性能调优、企业级案例实战等部分。完全从零起步,让学员可以一站式精通Spark企业级大数据开发,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从j2ee等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。

Spark 2.0从入门到精通:Scala编程、大数据开发、上百个实战案例、内核源码深度剖析

内容简介:

       本课程主要讲解的内容包括:Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优、Spark SQL、Spark Streaming。
       本课程的特色包括:
       1、代码驱动讲解Spark的各个技术点(绝对不是照着PPT空讲理论);
       2、现场动手画图讲解Spark原理以及源码(绝对不是干讲源码和PPT);
       3、覆盖Spark所有功能点(Spark RDD、Spark SQL、Spark Streaming,初级功能到高级特性,一个不少);
       4、Scala全程案例实战讲解(近百个趣味性案例);
       5、Spark案例实战的代码,几乎都提供了Java和Scala两个版本和讲解(一次性同时精通Java和Scala开发Spark);
       6、大量全网独有的知识点:基于排序的wordcount,Spark二次排序,Spark分组取topn,DataFrame与RDD的两种转换方式,Spark SQL的内置函数、开窗函数、UDF、UDAF,Spark       Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与Spark SQL整合使用、持久化、checkpoint、容错与事务。
       7、多个从企业实际需求抽取出的复杂案例实战:每日uv和销售额统计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时黑名单过滤案例、热点搜索词滑动统       计案例、top3热门商品实时统计案例
       8、深度剖析Spark内核源码与Spark Streaming源码,给源码进行详细的注释和讲解
       9、全面讲解Spark、Spark SQL、Spark Streaming的性能调优,其中包括全网独有的Shuffle性能调优(详细讲解性能调优的各个技术点)
       10、涵盖Spark两个重要版本,Spark 1.3.0和Spark 1.5.1的讲解(走在Spark前沿,涵盖新高级特性)

课程截图:

Spark 2.0从入门到精通:Scala编程、大数据开发、上百个实战案例、内核源码深度剖析

〖课程目录〗:

  • | └──第二部分
  • | | ├──170_Spark核心编程进阶-mapPartitionsWithIndex以开学分班案例.avi 42.07M
  • | | ├──171_Spark核心编程进阶-sample以及公司年会抽奖案例.avi 43.95M
  • | | ├──172_Spark核心编程进阶-union以及公司部门合并案例.avi 13.39M
  • | | ├──173_Spark核心编程进阶-intersection以及公司跨多项目人员查询案例.avi 13.76M
  • | | ├──174_Spark核心编程进阶-distinct以及网站uv统计案例.avi 21.01M
  • | | ├──175_Spark核心编程进阶-aggregateByKey以及单词计数案例.avi 43.70M
  • | | ├──176_Spark核心编程进阶-cartesian以及服装搭配案例.avi 19.51M
  • | | ├──177_Spark核心编程进阶-coalesce以及公司部门整合案例.avi 50.51M
  • | | ├──178_Spark核心编程进阶-repartition以及公司新增部门案例.avi 25.95M
  • | | ├──179_Spark核心编程进阶-takeSampled以及公司年会抽奖案例.avi 20.95M
  • | | ├──180_Spark核心编程进阶-shuffle操作原理详解.avi 34.20M
  • | | ├──181_Spark核心编程进阶-shuffle操作过程中进行数据排序.avi 7.51M
  • | | ├──182_Spark核心编程进阶-会触发shuffle操作的算子.avi 9.51M
  • | | ├──183_Spark核心编程进阶-shuffle操作对性能消耗的原理详解.avi 24.51M
  • | | ├──184_Spark核心编程进阶-shuffle操作所有相关参数详解以及性能调优.avi 93.01M
  • | | ├──185_Spark核心编程进阶-综合案例1:移动端app访问流量日志分析.avi 22.64M
  • | | ├──186_Spark核心编程进阶-综合案例1:日志文件格式分析.avi 24.89M
  • | | ├──187_Spark核心编程进阶-综合案例1:读取日志文件并创建RDD.avi 13.32M
  • | | ├──188_Spark核心编程进阶-综合案例1:创建自定义的可序列化类.avi 15.39M
  • | | ├──189_Spark核心编程进阶-综合案例1:将RDD映射为key-value格式.avi 17.82M
  • | | ├──190_Spark核心编程进阶-综合案例1:基于deviceID进行聚合操作.avi 21.39M
  • | | ├──191_Spark核心编程进阶-综合案例1:自定义二次排序key类.avi 24.95M
  • | | ├──192_Spark核心编程进阶-综合案例1:将二次排序key映射为RDD的key.avi 19.89M
  • | | ├──193_Spark核心编程进阶-综合案例1:执行二次排序以及获取top10数据.avi 18.95M
  • | | ├──194_Spark核心编程进阶-综合案例1:程序运行测试以及代码调试.avi 26.26M
  • | | ├──195_Spark核心编程进阶-部署第二台CentOS机器.avi 61.50M
  • | | ├──196_Spark核心编程进阶-部署第二个Hadoop节点.avi 39.56M
  • | | ├──197_Spark核心编程进阶-将第二个Hadoop节点动态加入集群.avi 17.06M
  • | | ├──198_Spark核心编程进阶-使用yarn-client和yarn-cluster提交spark作业.avi 154.69M
  • | | ├──199_Spark内核原理进阶-union算子内部实现原理剖析.avi 13.56M
  • | | ├──200_Spark内核原理进阶-groupByKey算子内部实现原理剖析.avi 40.81M
  • | | ├──201_Spark内核原理进阶-reduceByKey算子内部实现原理剖析.avi 26.14M
  • | | ├──202_Spark内核原理进阶-distinct算子内部实现原理剖析.avi 34.51M
  • | | ├──203_Spark内核原理进阶-cogroup算子内部实现原理剖析.avi 21.19M
  • | | ├──204_Spark内核原理进阶-intersection算子内部实现原理剖析.avi 24.63M
  • | | ├──205_Spark内核原理进阶-join算子内部实现原理剖析.avi 17.44M
  • | | ├──206_Spark内核原理进阶-sortByKey算子内部实现原理剖析.avi 10.81M
  • | | ├──207_Spark内核原理进阶-cartesian算子内部实现原理剖析.avi 15.00M
  • | | ├──208_Spark内核原理进阶-coalesce算子内部实现原理剖析.avi 5.75M
  • | | ├──209_Spark内核原理进阶-repartition算子内部实现原理剖析.avi 16.88M
  • | | ├──210_SparkSQL实战开发进阶-Hive013安装与测试.avi 62.44M
  • | | ├──211_SparkSQL实战开发进阶-ThriftJDBC、ODBCServer.avi 109.19M
  • | | ├──212_SparkSQL实战开发进阶-CLI命令行使用.avi 93.19M
  • | | ├──213_SparkSQL实战开发进阶-综合案例2:新闻网站关键指标离线统计.avi 41.57M
  • | | ├──214_SparkSQL实战开发进阶-综合案例2:页面pv统计以及排序.avi 96.44M
  • | | ├──215_SparkSQL实战开发进阶-综合案例2:页面uv统计以及排序.avi 20.25M
  • | | ├──216_SparkSQL实战开发进阶-综合案例2:新用户注册比例统计.avi 35.44M
  • | | ├──217_Spark SQL实战开发进阶-综合案例2:用户跳出率统计.mp4 25.25M
  • | | ├──218_SparkSQL实战开发进阶-综合案例2:版块热度排行榜统计.avi 16.31M
  • | | ├──219_SparkSQL实战开发进阶-综合案例2:测试与调试.avi 387.13M
  • | | ├──220_SparkStreaming实战开发进阶-flume安装.avi 41.50M
  • | | ├──221_SparkStreaming实战开发进阶-接收flume实时数据流.avi 81.38M
  • | | ├──222_SparkStreaming实战开发进阶-接收flume实时数据流.avi 144.50M
  • | | ├──223_SparkStreaming实战开发进阶-高阶技术之自定义Receiver(结束).avi 1.38M
  • | | ├──223_SparkStreaming实战开发进阶-高阶技术之自定义Receiver.avi 37.19M
  • | | ├──224_SparkStreaming实战开发进阶-kafka安装.avi 96.75M
  • | | ├──225_SparkStreaming实战开发进阶-综合案例3.avi 39.56M
  • | | ├──226_SparkStreaming实战开发进阶-综合案例3.avi 89.19M
  • | | ├──227_SparkStreaming实战开发进阶-综合案例3.avi 82.25M
  • | | ├──228_SparkStreaming实战开发进阶-综合案例3:注册用户数实时统计.avi 36.14M
  • | | ├──229_SparkStreaming实战开发进阶-综合案例3.avi 34.69M
  • | | ├──230_SparkStreaming实战开发进阶-综合案例3.avi 33.13M
  • | | ├──231_Spark运维管理进阶-基于ZooKeeper实现HA高可用性以及自动主备切换.avi 26.81M
  • | | ├──232_Spark运维管理进阶-实验:基于ZooKeeper实现HA高可用性以及自动主备切换.avi 196.06M
  • | | ├──233_Spark运维管理进阶-基于文件系统实现HA高可用性以及手动主备切换.avi 9.19M
  • | | ├──234_Spark运维管理进阶-实验:基于文件系统实现HA高可用性以及手动主备切换.avi 48.25M
  • | | ├──235_Spark运维管理进阶-作业监控-SparkWebUI以及监控实验.avi 188.56M
  • | | ├──236_Spark运维管理进阶-作业监控.avi 46.63M
  • | | ├──237_Spark运维管理进阶-作业监控.avi 87.25M
  • | | ├──238_Spark运维管理进阶-作业监控.avi 162.06M
  • | | ├──239_Spark运维管理进阶-作业监控.avi 96.88M
  • | | ├──240_Spark运维管理进阶-作业资源调度.avi 13.63M
  • | | ├──241_Spark运维管理进阶-作业资源调度.avi 39.00M
  • | | ├──242_Spark运维管理进阶-作业资源调度.avi 138.19M
  • | | ├──243_Spark运维管理进阶-作业资源调度.avi 96.56M
  • | | ├──244_Spark运维管理进阶-作业资源调度.avi 5.07M
  • | | ├──245_Spark运维管理进阶-作业资源调度.avi 26.94M
  • | | ├──246_新特性介绍_rec.mp4 32.52M
  • | | ├──247_新特性介绍-易用性:标准化SQL支持以及更合理的API_rec.mp4 23.17M
  • | | ├──248_新特性介绍-高性能:让Spark作为编译器来运行_rec.mp4 16.49M
  • | | ├──249_新特性介绍-智能化:Structured Streaming介绍_rec.mp4 13.36M
  • | | ├──250_新特性介绍-Spark 1.x的Volcano Iterator Model技术缺陷分析 _rec.mp4 21.89M
  • | | ├──251_新特性介绍-whole-stage code generation技术和vectorization技术_rec.mp4 17.82M
  • | | ├──252_Spark 2.x与1.x对比以及分析、学习建议以及使用建议_rec.mp4 65.41M
  • | | ├──253_课程环境搭建:虚拟机、CentOS、Hadoop、Spark等_rec.mp4 106.45M
  • | | ├──254_开发环境搭建:Eclipse+Maven+Scala+Spark_rec.mp4 14.12M
  • | | ├──255_SparkSession、Dataframe、Dataset开发入门(1)_rec.mp4 82.43M
  • | | ├──255_SparkSession、Dataframe、Dataset开发入门(2)_rec.mp4 40.70M
  • | | ├──256_Dataset开发详解-初步体验untypd操作案例:计算部门平均年龄与薪资 _rec.mp4 27.26M
  • | | ├──257_Dataset开发详解-action操作:collect、count、foreach、reduce等_rec.mp4 19.69M
  • | | ├──258_Dataset开发详解-基础操作:持久化、临时视图、ds与df互转换、写数据等_rec.mp4 46.60M
  • | | ├──259_Dataset开发详解-typed操作:coalesce、repartition 不加密.mp4 15.93M
  • | | ├──260_Dataset开发详解-typed操作:distinct、dropDuplicates_rec.mp4 11.84M
  • | | ├──261_Dataset开发详解-typed操作:except、filter、intersect_rec.mp4 17.08M
  • | | ├──262_Dataset开发详解-typed操作:map、flatMap、mapPartitions_rec.mp4 15.33M
  • | | ├──263_Dataset开发详解-typed操作:joinWith _rec.mp4 5.27M
  • | | ├──264_Dataset开发详解-typed操作:sort_rec.mp4 2.81M
  • | | ├──265_Dataset开发详解-typed操作:randomSplit、sample_rec.mp4 6.51M
  • | | ├──266_Dataset开发详解-untyped操作:select、where、groupBy、agg、col、join _rec.mp4 15.08M
  • | | ├──267_Dataset开发详解-聚合函数:avg、sum、max、min、count、countDistinct _rec.mp4 13.21M
  • | | ├──268_Dataset开发详解-聚合函数:collect_list、collect_set_rec.mp4 8.24M
  • | | ├──269_Dataset开发详解-其他常用函数_rec.mp4 12.51M
  • | | ├──270_Structured Streaming:深入浅出的介绍_rec.mp4 36.91M
  • | | ├──271_Structured Streaming:wordcount入门案例_rec.mp4 42.34M
  • | | ├──272_Structured Streaming:编程模型_rec.mp4 38.02M
  • | | ├──273_Structured Streaming:创建流式的dataset和dataframe_rec.mp4 8.36M
  • | | ├──274_Structured Streaming:对流式的dataset和dataframe执行计算操作_rec.mp4 10.83M
  • | | ├──275_Structured Streaming:output mode、sink以及foreach sink详解_rec.mp4 14.74M
  • | | ├──276_Structured Streaming:管理streaming query_rec.mp4 3.61M
  • | | ├──277_Structured Streaming:基于checkpoint的容错机制_rec.mp4 4.24M
  • | | └──278_Spark面试、简历中的项目编写以及实际生产环境的集群和资源配置等_rec.mp4 133.45M