大数据被认为是“未来的新石油”，也被比喻为21世纪的“钻石矿”，在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用
《大数据标准化白皮书（2020版）》梳理了国内外主要国家、地区大数据领域的发展战略，描述了大数据核心技术和产业应用现状，力图从政策、技术、产业等多个角度，勾画出当前大数据发展的整体脉络。同时结合大数据发展的最新态势及热点方向，迭代完善形成了新时期的大数据标准体系，并提出了我国大数据标准化工作建议。
课程内容
一.JavaSE阶段核心技术点
2.面向对象
3.API
4.Eclipse开发工具的使用
5.集合的底层原理
6.基本算法
7.jvm参数
8.JDK8的部分特性
9.IO、线程、套接字、反射使用
10.EasyMall项目开发
二.WEb前端及常用框架
1.XML、HTML/CSS
2.JavaScript、Jquery、JDBC、Servlet
3.Tomcat/HTTPCookie/Session
4.JSP/EL表达式/JSTL标签库
5.MVC设计模式/三层架构
6.JavaWeb高级开发技术
7.数据库高级开发技术
8.EasyMall项目开发
三.JavaEE框架
1.Tomcat服务器安装、以及常用配置
2.Servlet基础、Servlet生命周期
3.jsp基本语法、九大内置对象以及常用方法、四个属性范围
4.Filter过滤器、Listener监听器、使用过滤器实现登录权限拦截和字符编码集设置
5.MVC设计模式，完成图书管理系统的添加等功能
6.使用JSON+Ajax技术完成异步交互操作
7.完成网上书城项目：（图书管理+购物车系统）
四.数据库
2.数据库表的约束（主键约束、唯一约束、非空约束、检查约束、外键约束）
3.数据库常用函数（字符串函数、日期函数、转换函数、数学函数、通用函数、聚合函数）
4.Oracle数库的伪列（rowId、rownum）及其分页、用户、权限、角色
5.PLSQL编程、运算符、基本语法
6.PLSQL中的程序结构：选择结构、循环结构
7.JDBC以及图书管理系统案例
8.使用Properties读取属性文件、c3p0、dbcp、druid数据库连接池
五.Spark生态体
standalone模式资源调度和任务调度原理yarn模式资源调 度和任务调度原理spark术语宽窄依赖sparkstage pipeline计算模式粗粒度与细粒度资源调度推测执行二次排序分组topn spark源码分析广播变量累加器webui master ha sparkshuffle spark文件寻址内存管理shark sparksql谓词下推dataframe操作spark on hive udf udaf开窗函数sparkstreaming原理流失框架对比分析数据流程算子操作窗口操作
六.Flink生态体系
数仓理论基础oltp olap kylin架构原理kylin cube维度爆炸kylin配置事实表维度表星型模型雪花模型星座模型模型rowkey kylin元数据保存kylin jdbc访问hive优化hive处理小文件hive jvm重用数据倾斜处理任务监控预分区spark数据结构优化资源优化并行度优化
