联系我们
- 课程详情
Spark大数据实时分析项目目录共9节课程，已更新完毕
-
第1节 项目需求分析及流处理概述
-
¥29.00大数据 spark 项目分析适合人群：有一定Spark基础或对大数据开发感兴趣的人群
课程描述：学习目标：
1.了解本课程的要实现的功能需求 ；
2.了解业务处理现状分析 ；
3.了解实时流处理系统是什么 ；
4.掌握实时流式计算架构设计与常用技术选型 ；
5.了解实时流处理系统在企业中的应用案例 。
学习建议：
在掌握实时流处理架构过程之后，查询相关资料，了解同一个功能能采用哪几种技术或者框架实现，这些框架的优缺点都体现在哪些方面，为以后遇到类似的场景时能做到更好的场景选型。
目录1项目需求分析及流处理概述学习目标01:55需求描述与现状分析14:49实时流处理系统概述14:19实时流式计算架构设计与常用技术选型07:09实时流处理在企业中的应用案例03:59 -
-
第2节 Flume基础
-
¥29.00大数据 日志 flume适合人群：有一定Hadoop基础或对大数据开发感兴趣的人群
课程描述：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
学习目标：
1.了解Flume产生背景 ；
2.了解Flume是什么能做什么 ；
3.掌握Flume架构核心组件 ；
4.掌握Flume的部署 ；
5.掌握Flume的简单使用 。
学习建议：
编写Agent配置文件时一定要去对应的Flume的版本的官网文档上去查找，因为不同的版本属性配置可能有些差别。
目录1分布式日志收集框架Flume基础学习目标02:01Flume产生背景07:58Flume概述12:52Flume架构09:10Flume部署06:36Flume简单使用17:50第3节 Flume应用实战 -
-
¥29.00大数据 日志 flume适合人群：有一定Hadoop基础或对大数据开发感兴趣的人群。
课程描述：学习目标：
1.掌握使用exec source的方式实现数据收集到HDFS ；
2.掌握使用avro的方式实现数据收集 ；
3.掌握exec整合avro方式实现新产生日志的实时收集 ；
4.掌握实时收集Log4j输出的日志到Flume 。
学习建议：
编写Agent配置文件时一定要去对应的Flume的版本的官网文档上去查找，因为不同的版本属性配置可能有些差别。
目录1分布式日志收集框架Flume应用实战学习目标03:01使用exec实现数据收集到HDFS113:19使用exec实现数据收集到HDFS218:40实现avro文件传输109:54实现avro文件传输212:20整合exec和avro实现数据收集19:25使用Log4j将日志实时写入Flume14:47 -
-
第4节 Kafka基础
-
¥29.00大数据 kafka 部署适合人群：有一定Hadoop基础或对大数据开发感兴趣的人群
课程描述：Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目，最初是由LinkedIn开发，现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。
学习目标：
1.了解Kafka是什么 ；
2.掌握Kafka的核心概念 ；
3.掌握Kafka的部署和使用 ；
4.掌握Kafka的容错性测试方案 。
学习建议：
要学会查找第一手资料，也就是通过官方文档进行学习，对于Kafka的设计原则、使用等在官网上都有详细的描述，注意不同的版本在使用时可能有些差别。
目录1分布式消息队列Kafka基础学习目标01:49Kafka概述11:42核心概念06:03Kafka单节点单Broker部署及使用19:35Kafka单节点多Broker部署及使用10:21Kakfa容错性测试04:45 -
-
第5节 Kafka应用实战
-
¥39.00大数据 kafka flume整合kafka适合人群：有一定Hadoop基础或对大数据开发感兴趣的人群
课程描述：学习目标：
1.掌握Kafka API编程 ；
2.掌握Flume整合Kafka的使用 ；
3.能够使用Log4j将日志实时写入Kakfa 。
学习建议：
要学会查找第一手资料，也就是通过官方文档进行学习，对于Kafka的设计原则、使用等在官网上都有详细的描述，注意不同的版本在使用时可能有些差别 。
3.运用PS作为操作演示 。
目录1分布式消息队列Kafka应用实战学习目标01:44开发环境搭建05:40Kafka Producer API开发18:15Kafka Consumer API开发12:32Flume整合Kafka使用09:01将Log4j日志信息实时写入Kafka05:23 -
-
第6节 Spark Streaming项目开发准备
-
¥59.00大数据 kafka spark streaming 环境搭建适合人群：有一定Spark基础或对大数据开发感兴趣的人群
课程描述：学习目标：
1.了解Spark Streaming流处理项目架构 ；
2.能够搭建Scala&Spark&Zookeeper&HBase环境 ；
3.掌握使用Flume&Kafka&Spark Streaming打造通用的流处理基础 。
学习建议：
要学会查找第一手资料，也就是通过官方文档进行学习，查阅Spark Streaming流处理框架相关文档，整合Spark Streaming和Kafka使用的两种方式。
目录1Spark Streaming项目开发准备学习目标02:22项目架构分析与Scala环境搭建08:15Spark源码编译及搭建20:56ZooKeeper环境搭建07:20HBase环境搭建09:43项目开发环境搭建08:21打造通用的流处理基础114:37打造通用的流处理基础214:59 -
-
第7节 Spark on YARN
-
¥39.00大数据 spark yarn适合人群：有一定Spark基础或对大数据开发感兴趣的人群
课程描述：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。本次课需要了解Spark的运行模式以及如何提交Spark应用程序到YARN上运行。
学习目标：
1.了解Spark的四种运行模式 ；
2.了解YARN产生背景 ；
3.理解YARN架构及运行原理 ；
4.掌握Spark on YARN的使用以及两种不同模式的区别 。
学习建议：
要学会查找第一手资料，也就是通过官方文档进行学习，查阅Spark官网的Submitting Applications章节的文档，自己动手尝试测试client模式和cluster模式的区别（日志、中断客户端等）。
目录1Spark on YARN学习目标02:23Spark运行模式08:04YARN产生背景07:14YARN架构及工作原理06:56Spark on YARN概述09:58Spark on YARN的使用11:04第8节 Spark Streaming项目功能实现 -
¥59.00大数据 spark spark streaming 项目实战适合人群：有一定Spark基础或对大数据开发感兴趣的人群
课程描述：本课内容：
1.通过两个实时流处理统计分析案例的学习，希望大家能够达到举一反三的目的， 进而能够使用Spark Streaming来处理其他的业务功能；
2.在实时流处理过程中高效访问数据库的注意事项；
3.将Spark作业运行在YARN之上，使用YARN来完成整个集群作业的调度和运行。
学习目标：
1.用户访客地区统计分析 ；
2.最受欢迎的Top N课程分析 。
学习建议：
要学会查找第一手资料，也就是通过官方文档进行学习，查阅Spark官网的Submitting Applications章节的文档
1Spark Streaming项目功能实现学习目标02:30功能一需求描述02:47基础工具类开发115:20基础工具类开发222:08基础工具类开发318:16日志信息交由Spark Streaming处理11:04实体类及HBase DAO层代码开发11:17处理结果写入到HBase并测试16:42将项目运行在YARN之上17:18功能二：最受欢迎的TopN课程08:07 -
目录
-
-
第9节 数据可视化
有一定Spark基础或对大数据开发感兴趣的人群
本课内容：
1、Echarts静态数据、动态数据的展示；
2、通过Eclipse整合Maven构建Java EE项目完成从前台页面发起查询到前台可视化图形展示的过程。
学习目标：
1.了解什么是数据可视化以及为什么要可视化 ；
2.掌握ECharts的基本使用 ；
3.掌握将Spark Streaming项目处理数据可视化展示 。
学习建议：
查询Echarts官方提供的案例，按照我们课程中改造饼图的方式，能达到举一反三的效果，自己能完成其他样式的图形化展示。
讲师介绍
-
-
罗皆
CRM客服系统：北京移动、贵州移动、甘肃移动、辽宁移动客服系统建设； 大数据平台：上海移动、山东移动大数据平台建设，主要负责Hive、Spark、Storm、HBase、ES等的研发及落地。
想要了解更多关于Spark大数据实时分析项目课程方面的资讯，可以来79招生网网上报名免费咨询！
更多课程推荐：
课工场开设有：人工智能学院、大数据学院、区块链学院、云计算学院、创意设计学院、互联网软件学院、互联网营销学院、代码学院等。
课工场提供互联网企业岗位相关的课程，面向互联网企业中热门的产品，技术，设计，运维等方向提供岗位路线课程，也擅长制作精美的入门基础课程，精选了大量课件免费提供给在校大学生。课工场的技术岗位课程包括多个专业方向：前端开发工程师课程、HTML5+CSS3开发工程师、JavaScript网页特效、Android开发工程师、JAVA开发工程师、互联网+大数据开发工程师等。
课工场全称北京课工场教育科技有限公司，是由北京大学优秀校办产业北大青鸟集团全资建设的互联网教育平台，创始团队来自中国IT职业教育领军企业北大青鸟研究院。团队在泛IT职业教育领域深耕细作19年，始终秉持北京大学严谨的治学精神，深谙互联网+职业教育的运营之道，与北京大学保持良好的合作关系。北京大学教育学院师资力量派驻课工场，为课工场提供教育理论研究支持。
课工场汇聚了中国和北美数百位来自知名互联网企业的行业大咖，向寻求就业和技术提升的人群提供直播、录播、面授等多模式教学场景，并通过遍布全国的线下服务中心提供成熟学习服务，形成完善的“互联网+教育”解决方案。同时，课工场也为高校、企业、行业提供教育技术赋能，依托Transformer智能教育生态平台，打造智慧校园、企业大学、行业培训的教育场景，提供一站式教育解决方案。
- 暂无评论！
79招生网为第三方平台，不会向学员收取任何费用；内容素材如有侵权、虚假不实、违法违规信息等请联系我们 020-26225931。
课程信息由培训机构（或其代理）自行发布（或提供），请用户在自辨课程虚实、有效性、及时性时留意以实际授课为准。
报名咨询
您好，在此留下您的联系方式，我们将第一时间与您联系！学校信息
同类课程推荐
