大数据开发

导读   真实企业级实战项目教学,企业应用最广泛的项目实战,上海老男孩教育保你轻松胜任*。
400-060-0103 228
IT培训

课程详情

2018-11-21

大数据开发

  真实企业级实战项目教学,企业应用最广泛的项目实战,上海老男孩教育保你轻松胜任*。


一、课程班型

  全日制脱产班,网络班

二、大数据简介

大数据简介


三、课程简介

  专业打造大数据开发生态链

  理论、实操内外双修,只做精品课程

  年薪“10万+”是我们的底线,年薪“30万+”是我们的水平

阶段
JavaSE+MySql+Linux

  薪资水平:薪资普遍在5000元

  学习安排:2周2次作业1次阶段考核

  学习内容:Java语言入门、OOP编程、Java常用Api、集合、IO/NIO、Java实用技术、Mysql数据库、阶段项目实战、Linux基础、shell编程

  学习目标:学习java语言,掌握java程序编写、面向对象程序开发,掌握MySql体系结构及核心编程技术,打好Linux基础,为后续学习提供良好的语言基础。

阶段
Hadoop与生态系统

  薪资水平:薪资普遍在7000元

  学习安排:2周2次作业1次阶段考核

  学习内容:Hadoop、MapReduce、Avro、Hive、HBase、Zookeeper、Flume、Kafka、Sqoop、Pig

  学习目标:掌握大数据学习基石Hadoop、数据串行化系统与技术、数据的统计分析、分布式集群、流行的队列、数据迁移、大数据平台分析等

阶段
Storm与Spark及其生态圈

  薪资水平:薪资普遍在9000元

  学习安排:2周2次作业1次阶段考核

  学习内容:Storm、Scala、Spark、SparkSQL、SparkStreaming、Spark机器学习

  学习目标:让大家拥有完整项目开发思路和架构设计,掌握从数据采集到实时计算到数据存储再到前台展示,所有*一个人搞定!并可以从架构的层次站在架构师的角度去完成一个项目。

阶段
Mahout机器学习、R语言、Python

  薪资水平:薪资普遍在12000元

  学习安排:2周2次作业1次阶段考核

  学习内容:Mahout机器学习、R语言、Python

  学习目标:机器学习领域经典算法的实现,熟练使用R语法和统计思维,可以基于具体问题建立数学模型,掌握python技术与数据分析,将数据结果以可视化的直观方式展示给目标用户。

阶段
项目实战、技术综合运用

  薪资水平:薪资普遍在15000元

  学习安排:2周2次作业1次阶段考核

  学习内容:某手机公司bug系统、传统广告怎么用大数据、类互联网电商网站、网站日志收集清洗系统、网站流量统计分析系统

  学习目标:具备企业级大型完整项目开发能力,综合运用大数据分析知识,完成数据分析、收集、展示的完整流程。

四、项目展示

项目一
大型互联网电商数据项目

  技术点:springmvc架构的前端业态展现,maven实现项目依赖管理业务流程的编程实现处理,nginx服务器的负载均衡实现与动静分离技术中同tomcat服务器的服务器集群整合,大数据方面日志数据的产生,数据定时统计、数据在线实时处理等

  特色:完成完整的电商前后端数据处理。

项目二
某手机公司bug系统

  技术点:编写自己一套bug系统,供测试人员使用,通过编写SQL查询一段时间内ERROR级别记录的前10行,统计每分钟的日志记录数,并将统计结果存入mysql数据库中,将该数据对应到bug系统中,提供给开发人员解决bug。

  特色:自己编写公司bug系统

项目三
传特色:统广告怎么用大数据(新增)

  技术点:

  (1)摄像头的采集

  (2)图像识别

  (3)产生log

  (4)linux的定时器

  (5)大数据技术结合

  (6)php技术展示

  (7)h5跨平台展示

  特色:让同学从收集,分析,展示一个完整的流程。

项目四
网站日志收集清洗

  技术点:

  (1)hive数据分析通过日志文件获得的访问数据,点击数据,结合线上数据从库根据业务逻辑通过shell脚本,利用hive清洗后入mysql数据库,前端通过报表配置展示给各个业务部门及CTO、CEO。

  (2)各个业务部门例如,市场,运营等临时数据查询支持。

  (3)运用hive进行数据仓库搭建。为减轻集群压力,及增加研发人员查询数据效率,特别根据获取的数据进行整理,并且搭建宽表。方便维护及提高数据一致性,准确性。

  (4)为提高用户粘性,挖掘潜在客户。根据用户前一天,前一周的用户行为,设计出,并提供数据,适合用户行为兴趣的推荐弹窗口等.

  特色:将采集到的网站行为日志通过mr清洗后入hive数据库。

项目五
网站流量统计分析系统

  技术点:

  (1)利用Flume技术完成网站日志的收集和聚集,并把数据存储到HDFS和Kafka集群;

  (2)利用hive技术对HDFS收集的日志进行PV,UV,VV和在线时长等离线分析,并利用Sqoop技术把hive分析的结果导入到Mysql中;

  (3)利用storm和sparkstreaming技术对kafka收集的日志进行实时在线分析,将分析中间结果实时存入Hbase,并将最后结果导入Mysql。

  特色:大数据分析目标网站页面浏览量或点击量,独立访客数,访问次数和平均在线时长等。

上一篇: Python高级全栈+人工智能 下一篇: MySQLDBA数据库

推荐课程

查看全部课程
上海老男孩教育

上海老男孩教育

上海校区

查看全部校区 进入官方主页