上海岳城教育Java采用系统化的教学,学员可以在这里学到扎实的Java技能,学校对学员都签订有*协议,学习有保障,耐心学习进入名企,获得高薪不再是梦。
*章 | Hadoop入门和平台搭建 | Hadoop简介 | 分布式和传统单机模式 |
了解为什么要使用Hadoop; 掌握Hadoop的体系结构和环境搭建; |
生活中分布式的场景 | ||||
Hadoop背景和工作原理 | ||||
Mapreduce工作原理剖析 | ||||
第二代MR——Yarn原理剖析 | ||||
Cloudera | Cloudera Manager 4.1.2安装 | |||
Cloudera Hadoop 4.1.2 安装 | ||||
CM集群管理 | 添加删除服务 | |||
添加节点、退役和删除节点 | ||||
节点角色调整 | ||||
属性配置及同步到客户端 | ||||
进程维护,日志查看 | ||||
Hadoop fs 命令 | Hadoop fs 命令详解 | |||
第二章 | Cloudera Hadoop 4 | Hadoop基础 | Hadoop平台数据处理流程 | Cloudera Hadoop 4掌握和应用 |
Hadoop工作原理、调度策略 | ||||
Hadoop开发作业形式 | ||||
Hive基础 | Hive工作原理和基本使用 | |||
Hive元数据管理和语法详解 | ||||
Hive表和存储结构 | ||||
运维案例: 单机存储均衡和坏block处理 | ||||
Hive进阶 | Hive QL(一) | |||
Hive QL(二) | ||||
UDF和UDAF开发 | ||||
UDAF开发和JDBC访问 | ||||
Hive优化规则 | ||||
Hive数据压缩技术 | ||||
Hive-f封装支持传参(一) | ||||
Hive-f封装支持传参(二) | ||||
Sqoop | Sqoop使用(一) | |||
Sqoop使用(二) | ||||
Sqoop作业调度 | ||||
Hbase基础 | HBase体系结构 | |||
HBase表设计案例 | ||||
HBase数据加载(Sqoop和Java) | ||||
HBase存储机制 | ||||
HBase进阶 | Java操作Hbase(一) | |||
Java操作Hbase(二) | ||||
Java操作Hbase(三) | ||||
HBase与Hive接口 | ||||
Hbase项目实战(一) | 订单在线实时查询项目介绍 | |||
订单在线实时查询_Schema设计和HBase数据加载 | ||||
订单在线实时查询_DAO层实现 | ||||
订单在线实时查询_DAO层和前台实现 | ||||
Hbase项目实战(二) | 电商日志流量分析_项目介绍 | |||
电商日志流量分析_业务实现(一) | ||||
电商日志流量分析_业务实现(二) | ||||
电商日志流量分析_业务实现(三) | ||||
电商日志流量分析_业务实现(四) | ||||
Cloudera Hadoop 5 | CDH5搭建之CM5安装部署 | |||
CDH5搭建和CM界面化集群管理 | ||||
第三章 |
深入浅出Hive 企业级架构优化 |
Hive企业级架构优化 | Hive体系结构及Hive作业形式 |
掌握Hive 企业级的架构优化 |
Hive优化策略大探底及架构优化案例(一) | ||||
架构优化案例(二)之降IO负载策略I | ||||
架构优化案例(二)之降IO负载策略II | ||||
架构优化案例(二)之降IO负载策略III—压缩和分布式缓存 | ||||
Hive语法优化 | Hive语法、参数层面优化(一) | |||
Hive语法、参数层面优化(二) | ||||
Hive语法、参数层面优化(三) | ||||
Hive语法、参数层面优化(四) | ||||
Impala | Impala的介绍 | |||
Impala的使用 | ||||
第四章 | 作业调度系统 | 调度系统简介 | 调度系统的介绍 | 了解和掌握开源作业调度系统 |
Linux Crontab 调度详解 | ||||
阿里开源的调度系统Zeus | Zeus的介绍 | |||
Zeus的部署和使用 | ||||
Zeus的进阶使用 | ||||
第五章 | Mapreduce编程 | Mapreduce简介 | Mapreduce API类介绍 | 了解和掌握Mapreduce的使用 |
入门程序开发 | ||||
Mapreduce案例 | 案例开发(一) | |||
案例开发(二) | ||||
进阶案例 | ||||
第六章 | Zookeeper | Zookeeper入门和实战 | Zookeeper熟悉和用途综述 | 了解和掌握Zookeeper的使用 |
Zookeeper集群搭建、命令行Client操作 | ||||
Watches、Node、API介绍、Java Client开发 | ||||
Java Client 进阶练习 | ||||
实战案例开发(一)之配置管理 | ||||
实战案例开发(二)之分布式锁实现 | ||||
运维和监控 | 运维指南及注意事项 | |||
运维和监控Web平台搭建和使用 | ||||
第七章 | Storm | Storm基础 | Storm简介 |
掌握Storm的体系结构、工作原理、Storm的单机环境配置、集群环境配置;掌握Storm核心组件,包括Spout、Bolt、Stream Groupings等; 了解Storm实现消息处理的安全性,*消息处理无遗漏; 了解Storm的批处理事务处理; |
Storm原理和概念 | ||||
Zookeeper集群搭建及基本使用 | ||||
Storm集群搭建及测试 | ||||
Storm进阶 | Storm API简介和入门案例开发 | |||
Spout的Tail特性、storm-starter及maven使用、Grouping策略 | ||||
案例实战:Grouping策略及并发 | ||||
并发度详解、案例开发(高并发运用) | ||||
案例实战:计算网站PV | ||||
案例优化:引入Zookeeper锁控制线程操作 | ||||
案例优化:计算网站UV(去重计算模式) | ||||
运维案例:集群统一启动和停止shell脚本开发 | ||||
Storm批处理和事务处理 | 批处理事务原理详解 | |||
Storm事务API及案例分析 | ||||
Storm事务案例实战:ITransactionalSpout | ||||
Storm事务案例优化:按天计算 | ||||
Storm分区事务案例实战 | ||||
Storm不透明分区事务案例实战 | ||||
DRPC精解和案例分析 | ||||
Storm Trident | Storm Trident入门 | |||
Trident API和概念 | ||||
Storm Trident案例实战:计算网站PV | ||||
ITridentSpout、FirstN(取Top N)实现、流合并和Join | ||||
Storm Trident之函数、流聚合及核心概念State | ||||
Storm Trident综合实战(一)(基于HBase的State) | ||||
Storm Trident综合实战(二) | ||||
Storm Trident综合实战(三) | ||||
Storm集群和作业监控告警开发 | ||||
Kafka | Kafka的简介 | |||
Kafka的使用 | ||||
第八章 | Spark | Spark基础 | Spark的概念 |
掌握Spark与Hadoop的比较、Spark环境搭建;了解Spark缓存策略;了解Spark的transformation和action; 了解Spark的容错机制;掌握Spark的核心组件使用;理解Spark的各种RDD; |
Spark生态系统 | ||||
Spark的核心RDD和Lineage | ||||
RDD的存储、容错机制、内部设计及数据模型 | ||||
Spark进阶 | Spark调度框架 | |||
Spark的分布式部署方式 | ||||
基于Mesos的Spark模式 | ||||
基于YARN的Spark模式 | ||||
Spark的独立模式部署 | ||||
Spark的YARN模式部署 | ||||
|