大数据开发工程师周末*班
招生对象
算机、大数据等专业的高校生,想求职于大数据分析岗位
之前从事开发等技术岗想转型业务大数据分析等待*技术人群
从传统数仓到大数据平台转型的数据分析人士
有一些编程基础,之前从事传统运营、营销想转行大数据分析的业务人士
希望快速在*中应用大数据分析处理商业智能、营销、运营等有编程基础的人士
课程目标
掌握Linux、Java、SQL基本知识
掌握商业智能平台构建思路
掌握常见数仓平台架构
掌握报表开发能力、用户画像的原理
掌握用户画像系统技术架构
掌握标签的各种加工方式
掌握精准营销思路、flink技术架构
掌握精准营销流程、实时数仓搭建
掌握docker的技术架构原理
熟悉docker相关命令、docker容器数据卷
熟悉docker应用部署、docker的私有仓库相关技术
课程内容
1、A1课程:1章*阶段:BI大数据-商业智能应用
1-1商业智能、报表的商业价值
1-2商业智能、报表应用场景与现状
1-3MySQL电商数据分析案例
2章*阶段:BI大数据——MySQL深度性能优化
2-1MySQL数据库框架
2-2数据库服务器性能
2-3数据类型优化
2-4索引优化
2-5查询性能优化
2-6MySQL高级特性
2-7优化服务器设置
2-8可扩展的MySQL
2-9高可用性
2-10应用层优化
3章*阶段:BI大数据——商业智能数据架构及平台搭建
3-1商业智能系统技术架构解讲解
3-2Hadoop、Hive、Sqoop原理讲解
3-3商业智能系统数据平台搭建
3-4高速公路收费数据案例讲解
4章*阶段:BI大数据——商业智能可视化
4-1Tableau概述&应用
4-2常用数据分析图表制作
4-3仪表板制作
4-4BI数据分析&可视化交互
5章第二阶段:标签开发算法实战——标签开发一
5-1数据应用体系层级划分
5-2大数据精准营销架构
5-3标签体系整体框架
5-4基础标签
5-5统计标签、规则类标签及Hive实践
6章第二阶段:标签开发算法实战——hive性能优化
6-1妙用Hive视图功能
6-2Hive索引的使用
6-3使用EXPLAIN优化查询代码
6-4limit限制调整优化
6-5join优化
6-6调整mapper与reducer个数
7章第二阶段:标签开发算法实战——标签开发二
7-1scala开发环境配置
7-2值与变量
7-3常用数据类型
7-4方法定义
7-5条件表达式与循环
7-6Lazy value的应用
7-7数组、元组与Map
7-8类、抽象类、特质
7-9模式匹配、样例类
7-10文件访问
7-11Spark简介
7-12SparkML简介
7-13SparkML Piplines
7-14SparkML特征(文本)提取、转换、加载
7-15文本提取案例:用户评论情感标签提取
8章第二阶段:标签开发算法实战——标签开发三
8-1算法标签
8-2机器学习基础
8-3回归:线性回归与SparkML特征处理
8-4分类:逻辑回归及Spark实现
8-5聚类:Kmeans及Spark实现
8-6复杂网络:图计算
8-7算法实战:营销预测案例
9章第二阶段:标签开发算法实战——标签数据的存储和查询
9-1标签数据的应用场景及存储需求分析
9-2Hive、Hbase、Elasticsearch等在标签数据存储中的应用
10章第三阶段:实时计算精准营销——流式计算开发
10-1流式计算概述
10-2Spark Streaming的架构原理
10-3Dstream操作(转换、输出)
10-4Spark Streaming外部数据源介绍
10-5Structured Streaming原理及编程模型
10-6Kafka原理及应用讲解
11章第三阶段:实时计算精准营销——实时计算系统
11-1flink部署与使用
11-2flink运行架构分析
11-3DataStream与DataSet
11-4TableAPI&SQL
11-5flink状态机制
12章第三阶段:实时计算精准营销——实时精准营销行业案例分析
12-1决策树
12-2集成算法(随机森林)
12-3机器学习算法与flink的连接
12-4实时精准营销案例及代码实践
13章第三阶段:实时计算精准营销——推荐系统
13-1推荐系统概述
13-2冷启动与EE问题
13-3精细化运营与推荐系统
13-4推荐算法-协同过滤
14章第三阶段:实时计算精准营销——数据中台的大数据架构
14-1大数据架构
14-2数据中台
15章第四阶段:云计算之容器技术——docker技术架构原理及相关命令
15-1Docker简介、什么是Docker、Docker应用场景
15-2Docker架构
15-3Docker引擎、仓库、镜像、容器等概念
15-4Docker安装、卸载
15-5Docker配置镜像加速器
15-6Docker镜像管理
15-7Docker容器管理
15-8Docker复制
15-9Docker查看日志命令
15-10Docker数据卷
15-11Docker安装Nginx
15-12Docker安装MySQL
15-13Docker安装Redis
15-14Docker安装RabbitMQ
16章第四阶段:云计算之容器技术——docker容器数据卷及应用部署docker私有仓库相关技术docker实操
16-1Dockerfile常用命令
16-2Dockerfile实战案例(4个案例)掌握全方面Dockerfile编写
16-3官方镜像Tomcat源码解析(Dockerfile)
16-4Docker部署SpringBoot微服务项目,微服务镜像制作
16-5快速部署分布式应用(实现动态扩容、资源高效利用)
16-6Docker-compose之Tomcat集群搭建
16-7Docker-compose之Redis集群搭建