价格: 19 学币

分类: None

发布时间: 2018年2月26日 20:48

最近更新: 2022年12月11日 02:22

资源类型: VIP

课程介绍:

本课程将从Hive的基本概念入手,深入解析Hive的使用方式、HQL语法以及常用的仓库模式设计和Hive优化方法,并对未来Hive的发展和高级特性做一些简单介绍,并通过最后的案例实践巩固学习内容。通过本课程的学习,将能够胜任大多数互联网场景下的大数据分析和数据开发任务。

Hive数据仓库实践 视频教程

适用人群:

面向数据分析和数据开发,希望从事和进一步了解互联网数据仓库以及数据分析的学员。

课程目录:

第一课 Hadoop与MapReduce

  • 1) Hive在Hadoop Ecosystem中的地位
  • 2) Hive的版本演进与目前现状
  • 3) 课程实践环境说明
  • 4) 实操: Hive/Hadoop预备环境安装

第二课 Hive的基本概念与QuickStart

  • 1) Hive的安装部署
  • 2) Hive的基本架构
  • 3) 启动Hive
  • 4) Hive命令行
  • 5) HiveServer与JDBC/ODBC
  • 6) 实操: Hive命令行和ThriftServer基本使用

第三课 数据类型与文件格式

  • 1) Hive支持的基本数据类型
  • 2) Hive支持的集合数据类型
  • 3) Hive支持的文件格式与优劣对比

第四课 HiveQL:数据定义

  • 1) Hive数据模型
  • 2) Database
  • 3) Table
  • 4) Partition
  • 5) 自定义存储格式
  • 6) 自定义表属性
  • 7) 常用创建/删除/修改表语法
  • 8) 实操: HQL 创建/删除/修改操作练习

第五课 HiveQL:数据操作

  • 1) 加载数据(LoadData)
  • 2) 从查询计算结果加载数据(Insert Table Select)
  • 3) 动态分区(DynamicPartitioning)
  • 4) CTAS(CreateTableAsSelect)
  • 5) 导出数据
  • 6) 实操: 练习以上数据加载计算和导出操作

第六课 HiveQL:数据查询

  • 1) 从最简单的开始
  • 2) Select … From
  • 3) Where条件
  • 4) Group By条件
  • 5) Join
  • 6) 排序(OrderBy/SortBy)
  • 7) ClusterBy/DistributeBy
  • 8) 抽样(Sampling)
  • 9) Union
  • 10) 实操: 练习以上各种查询语法

第七课 Hive函数与自定义函数

  • 1) 查看与调用函数
  • 2) 常用标准函数(UDF)
  • 3) UDAF
  • 4) UDTF
  • 5) UDF/UDAF/UDTF开发
  • 6) 实操: 练习并完成UDF Java开发的作业

第八课 Hive常用模式设计

  • 1) 按天做Partition
  • 2) 分桶(Bucket)
  • 3) 压缩
  • 4) 表Schema变更
  • 5) 实操: 练习以上几种仓库设计模式

第九课 Hive调优

  • 1) Hive参数说明
  • 2) Explain查看执行计划
  • 3) 控制Map/Reduce数
  • 4) 并行执行
  • 5) 推测执行
  • 6) Join优化
  • 7) 数据倾斜问题
  • 8) 动态分区优化
  • 9) 实操: 练习并理解不同优化参数下的执行逻辑

第十课 Hive新特性与其他

  • 1) Hive on Tez
  • 2) Hive on Spark
  • 3) Hive与HBase集成
  • 4) HCatalog

第十一课 案例

  • 1) 广告用户行为分析场景预备
  • 2) 构建Hive表与数据处理
  • 3) 常用分析案例
  • 4) 实操: 完成以上案例作业

〖课程目录〗:

  • | └──65.hive数据仓库实践
  • | | ├──00
  • | | | ├──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.001 700.00M
  • | | | ├──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.002 700.00M
  • | | | ├──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.003 700.00M
  • | | | ├──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.004 700.00M
  • | | | ├──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.005 700.00M
  • | | | ├──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.006 700.00M
  • | | | ├──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.007 700.00M
  • | | | └──cloudera-quickstart-vm-5.8.0-0-virtualbox.7z.008 94.31M
  • | | ├──01
  • | | | └──第一课
  • | | ├──02
  • | | | └──第二课
  • | | ├──03
  • | | | └──第三课
  • | | ├──04
  • | | | └──第四课
  • | | ├──05
  • | | | └──第五课
  • | | ├──06
  • | | | └──第六课
  • | | ├──07
  • | | | └──第七课
  • | | ├──08
  • | | | └──第八课
  • | | ├──09
  • | | | └──第九课
  • | | ├──10
  • | | | └──第十课
  • | | └──11
  • | | | └──第十一课