海程是一家以18-48岁年龄段青年、人才研究机构、*及社团主要客户对象,以线上线下相结合的方式为客户提供人才教育,大数据时代已经到来,越来越多的行业面临着大量数据需要存储以及分析的挑战。Hadoop,作为一个开源的分布式并行处理平台,以其高扩展、高效率、高可靠等优点、得到越来越广泛的应用。
大数据时代已经到来,越来越多的行业面临着大量数据需要存储以及分析的挑战。Hadoop,作为一个开源的分布式并行处理平台,以其高扩展、高效率、高可靠等优点、得到越来越广泛的应用。本课程是整套大数据课程的基石:其一,分布式文件系统HDFS用于存储海量数据,无论Hive、Hbase或者Spark数据存储在其上面;其二是分布式资源管理框架YARN,是Hadoop云操作系统(也称数据系统),管理集群资源和分布式数据处理框架MapReduce、Spark应用的资源调度监控;分布式并行计算框架MapReduce目前是海量数据并行处理的一个最常用的框架。Hadoop的编译、环境搭建、HDFS Shell使用,YARN集群资源管理与任务监控,MapReduce编程,分布式集群的部署管理(*括高可用性HA)。
★数据分析与处理
★人工智能
★Hadoop运用
★Linux操作系统
★Python与网络爬虫技术
★SPSS\SAS数据分析与挖掘
★Tableau数据可视化应用
★MySQL运用和自动化操作
☛课程体系:数据挖掘、数据分析、数据仓库、商业智能、大数据技术、人工智能、机器学习、项目管理、系统架构
☛实战为王:不仅仅在于数据挖掘和数据分析,算法理论上深入了解,更是贯穿大量实战案例与企业常用工具配合使用,让你成为一个实战家。
☛丰富的资源:针对学员在整个课程学习的过程中所需要的不用的资料,制定了大量课前知识点预习教材,课中练习案例,课后复习巩固的作业和项目。
☛能力培养:通过PK赛提升学员的人文技能:沟通表达能力、演讲能力、抗压能力和自信心。
☛学习方式:白天*线下面授,晚上助教辅导晚自习,周末在家观看在线视频教程,多种学习方式助你快速成材。
☛适合所有学员:无论你是刚毕业或在校大学生,还是你已经从事相关专业*,只要你愿意,都可以选择学习本套课程,为你未来的更好的*或晋级加薪充电加油!
▎*章Linux系统和SHELL脚本开发
*节Linux环境安装和介绍(免费)
第二节Linux常用命令(免费)
第三节Linux vi/vim编辑器(上)
第四节Linux vi/vim编辑器(下)
第五节Linux用户管理(一)
第六节Linux用户管理(二)
第七节Linux用户管理(三)
第八节Linux网络配置
第九节SecureCRT
第十节Yum源制作
第十一节MySQL和Java环境安装
第十二节集群环境安装软件
第十三节Linux免密登录和Linux SHELL开发(一)
第十四节Linux SHELL开发(二)
第十五节Linux SHELL开发(三)
第十六节Linux SHELL开发(四)
第十七节Linux SHELL开发(五)
第十八节Linux SHELL开发(六)
▎第二章大数据入门和集群搭建
*节大数据课程介绍(免费)
第二节Hadoop集群和搭建(一)(免费)
第三节Hadoop集群和搭建(二)(免费)
第四节Hadoop集群和搭建(三)(免费)
第五节Hadoop集群和搭建(四)
第六节Hadoop集群和搭建(五)
第七节Hadoop集群和搭建(六)
第八节Hadoop集群和搭建(七)
▎第三章HDFS和MapReduce
*节Java连接HDFS操作(上)
第二节Java连接HDFS操作(下)
第三节客户端上传文件到HDFS流程
第四节作业讲解和MapReduce(一)
第五节MapReduce(二)
第六节MapReduce(三)
第七节MapReduce(四)
第八节MapReduce(五)
第九节MapReduce(六)
第十节MapReduce(七)
第十一节MapReduce(八)
第十二节MapReduce(九)
第十三节MapReduce(十)
第十四节MapReduce(十一)
第十五节MapReduce(十二)
第十六节MapReduce(十三)
第十七节MapReduce(十四)
第十八节MapReduce(十五)
第十九节MapReduce小结
▎第四章Zookeeper和HBase
*节Zookeeper安装(上)
第二节Zookeeper安装(下)
第三节案例操作(一)
第四节案例操作(二)
第五节案例操作(三)
第六节HBase安装
第七节HBase简单使用
第八节HBase SHELL命令
第九节HBase案例操作
▎第五章MySQL和Hive
*节HBase和MySQL介绍
第二节MySQL安装
第三节Hive安装和配置
第四节Hive SQL操作(上)
第五节Hive SQL操作(下)
第六节Hive UDF
▎第六章Scala
*节Scala简介
第二节Scala基础语法(上)
第三节Scala基础语法(下)
第四节Scala过滤(上)
第五节Scala过滤(下)和Map操作
第六节Scala面向对象(上)
第七节Scala面向对象(下)
第八节Scala函数式编程
第九节Scala实现MapReduce(一)
第十节Scala实现MapReduce(二)
第十一节Scala实现MapReduce(三)
第十二节Scala实现MapReduce(四)
第十三节Scala操作数据库(上)
第十四节Scala操作数据库(下)
▎第七章Spark
*节上节内容补充和Spark入门
第二节Spark安装和配置
第三节Spark RDD(一)
第四节Spark RDD(二)
第五节Spark RDD(三)
第六节Spark RDD(四)
第七节Spark集群小结
第八节Spark RDD小结(上)
第九节Spark RDD小结(下)
第十节Spark SHELL
第十一节Spark DAGScheduler
第十二节Spark DateFrame(一)
第十三节Spark DateFrame(二)
第十四节Spark DateFrame(三)
第十五节Spark DateFrame(四)
第十六节Spark调优和Spark SQL(一)
第十七节Spark SQL(二)
第十八节Spark SQL(三)
第十九节Spark SQL(四)
第二十节Spark SQL(五)和Kafka安装配置(上)
第二十一节Kafka安装配置(下)和Spark Streaming(一)
第二十二节Spark Streaming(二)
第二十三节Spark Streaming(三)
第二十四节Spark小结(一)
第二十五节Spark小结(二)
第二十六节Spark小结(三)