我们尚学堂大数据课程主要针对那些想要学大数据的学员，hadoop是重头戏，内容多、篇幅长，老师会由浅入深，逐步带大家**含Mapreduce、Hbase、Hive、Sqoop、Flume、Zookeeper等在内的前沿实战技术，你一定听过spark，在内存计算的课程上，Scala、Spark Streaming实时计算等内容，会让你惊叹大数据的无限魅力
| 阶段 | 技术内容 |
|
redis缓存 系统课程大纲 |
|
|
1) redis特点、与其他数据库的比较
2) 如何安装redis
3) 如何使用命令行客户端
4) redis的字符串类型
5) redis的散列类型
6) redis的列表类型
7) redis的集合类型
8) 如何使用java访问redis【a.python访问redis,scala访问redis】
9) redis的事务(transaction)
10) redis的管道(pipeline)
11) redis持久化(AOF+RDB)
12) redis优化
13) redis的主从复制
14) redis的sentinel高可用
15) twemproxy,codis实战
16) redis3.x集群安装配置
|
|
| Kafka课程 | Kafka是当下流行的队列，可以说是从数据采集到大数据计算承上启下的重要环节，大家在此部分将会详细学习它的架构，kafka在大家大数据的项目中几乎都会涉及到。 |
|
1) kafka是什么
2) kafka体系结构
3) kafka配置详解
4) kafka的安装
5) kafka的存储策略
6) kafka分区特点
7) kafka的发布与订阅
8) zookeeper协调管理
9) java编程操作kafka
10) scala编程操作kafka
11) flume 和kafka 的整合
12) Kafka 和storm 的整合
|
|
|
Storm 实时数据处理 |
本部分学习过后，大家将全面掌握Storm内部机制和原理，通过大量项目实战，让大家拥有完整项目开发思路和架构设计，掌握从数据采集到实时计算到数据存储再到前台展示，所有*一个人搞定！譬如可以一个人搞定淘宝双11大屏幕项目！不光从项目的开发的层次去实现，并可以从架构的层次站在架构师的角度去完成一个项目。 |
|
项目技术架构体系：
1) Storm的基本概念
2) Storm的应用场景
3) Storm和Hadoop的对比
4) Storm集群的安装的linux环境准备
5) zookeeper集群搭建
6) Storm集群搭建
7) Storm配置文件配置项讲解
8) 集群搭建常见问题解决
9) Storm常用组件和编程API：Topology、 Spout、Bolt
10) Storm分组策略(stream groupings)
11) 使用Strom开发一个WordCount例子
12) Storm程序本地模式debug、Storm程序远程debug
13) Storm事物处理
14) Storm消息可靠性及容错原理
15) Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API
16) Storm Trident概念
17) Trident state 原理
18) Trident开发实例
19) Storm DRPC(分布式远程调用)介绍
20) Storm DRPC实战讲解
21) Storm和Hadoop 2.x的整合：Storm on Yarn
Storm开发实战： Kafka+Storm+Hbase+redis项目实战，以及多个案例
|
|
| 项目实战 |
项目技术架构体系： Storm+hbase+kafka+flume+echarts
a) flume实时采集日志
b) kafka缓冲队列
c) storm实时处理
d) Hbase dao存储处理结果
e) 前端Web实时展示报表
|
