首页 > 选课中心 > 数据分析 > 【快班】深入理解Storm与大数据实战
【快班】深入理解Storm与大数据实战
此课程所属 【hadoop大数据工程师职业方向】, 【数据分析师专业方向】专业,报名专业套餐,可享受0元学习特惠!点击了解详情
随报随学 共11课 ★★☆
开课时间 课程周期 难易度
招生中

立即报名
大数据 Hadoop 架构 集群 Storm
课程介绍
在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-click)Yahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为,LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等,而Storm是由Twitter开源的实时计算框架,适用于实时分析、在线机器学习、连续计算、分布式RPC和ETL等场景。

大数据技术的发展日新月异,不断涌现的技术代表着需求的旺盛。在本次课程中,用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路,包括数据收集、传输和计算、以及存储等;实时和离线的整合等内容。
课程大纲
第一课:实时计算平台介绍
介绍实时系统主要解决的业务问题和面临的挑战;
简要介绍实时平台的主要组件和构成,实时数据的收集通道和数据交互方式
实时数据核心组件Flume、Kafka的介绍,以及Storm在整个平台中所处的位置;
分享部分典型互联网公司实时平台的架构,如大众点评、美团、一号店等

第二课:Storm基本概念和组件介绍
Storm的基本组件:Nimbus、Supervisor、Worker、 Executor和Task的基本介绍;
集群组成:通常一个线上集群的如何构成;
Storm的可靠性:Storm如何保证可靠性以及数据的准确性;
Storm的数据分组和其他特性介绍;

第三课:Storm集群部署和配置
Storm的依赖组件介绍;
Storm的部署软硬件环境要求;
部署ZooKeeper
部署Storm到各个机器节点
配置Storm相关参数,以及核心参数介绍;
启动Storm相关进程;
Storm的守护进程;
提交Topology的过程介绍。

第四课:Storm基本应用的开发
Storm的应用开发和调试过程介绍,包括:
提交示例Topology到集群;
项目代码本地开发环境配置和依赖;
代码编译和打包以及注意事项;
本地代码调试过程;
线上Topology提交过程和问题分析。

第五课:Storm Nimbus和Supervisor深入剖析
Nimbus功能介绍和启动Nimbus服务过程分析;
Nimbus服务的执行过程剖析;
分配Executor的算法;
调度器介绍;
默认调度器DefaultScheduler和均衡调度器EvenScheduler逻辑分析;
Supervisor数据结构分析;
Supervisor的执行过程详解。

第六课:Storm Worker、Executor和Task深入分析
Worker的数据结构和架构;
Worker中的数据流分解;
创建Worker的过程;
Executor的创建过程;
创建Spout的Executor的过程和逻辑;
创建Bolt的Executor的过程和逻辑;
Task的创建过程;
Ack的原理介绍;
Acker Bolt的实现。

第七课:Storm运维和监控
主机信息监控;
日志和监控;
Storm UI和NimbusClient的使用;
Storm Metric的使用;
Storm ZooKeeper的目录详解和功能分析;
Storm Hook的使用。

第八课:Storm的扩展和二次开发
Storm UI原生功能介绍和数据含义;
Storm UI新功能需求实现;
Storm的Thrift接口介绍;
资源隔离方案简介;
基于CGroup的资源隔离的实现;
使用Docker运行Storm集群介绍。

第九课:Storm的实际应用案例分享
实时DAU计算实现;
实时用户画像;
实时个性化推荐;
广告投放的精准化

第十课:Storm使用经验和性能优化
使用经验;
性能优化建议;
自定义metric和性能数据收集

第十一课:其他实时平台介绍
JStorm介绍;
Spark Streaming介绍;
Heron介绍;
Flink介绍;
Storm和其他实时流处理框架的功能和性能对比
授课讲师
王新春,曾任大众点评数据平台高级架构师,负责大众点评数据平台工具系统、实时计算平台和在线服务等,推动大数据相关的技术、工具和分析在点评的应用和发展。为公司内部数百名数据分析师、BI和开发工程师提供数据分析工具和平台。平台离线处理数据量PB级别,实时处理数据量超过50TB。
个人著作:《Storm技术内幕与大数据实践》
课程学费
学费:400元(固定学费:300元 + 逆向学费:100元)
新颖的课程收费形式:“逆向收费”约等于免费学习,课程收取300元固定收费 + 100元逆向学费,学习圆满则全额奖励返还给学员!
特别说明如下
本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。 在 报名时每位报名者收取400元,其中300元为固定 收费,另外100元是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面作业,则100元全款退回。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!
课程授课方式

1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。

2、 学习作业:每课均有布置课后作业,学员完成书面作业后则可进入下一课学习。

3、 老师辅导:通过论坛站内信及邮件等多种方式与老师进行一对一互动。

4、 完成课程:最后一课作业交纳后,老师完成作业批改,即可完成课程并取回相应剩余的逆向学费。

联系我们
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询QQ群:706821899(群内有培训公开课视频供大家免费观看)
咨询QQ: 点击这里给我发消息 点击这里给我发消息
您是否对此课程还有疑问,那么请 点击进入FAQ,您的问题将基本得到解答
全国统一咨询热线: 4008-010-006
最新技术热点、 最新行业资讯,最新培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!

授课老师

其他快班课程

【快班】Datastage基础及开发实践
【快班】JavaScript从入门到精通
【快班】赢在大数据-人工智能的应用实践
【快班】【免费公开课】《数据科学入门手册》——DSX架构与部署
【快班】【免费公开课】数据科学无难事
【快班】【免费公开课】《Hadoop入门手册》之 虚拟机的安装和使用
【快班】【免费公开课】玩转数据艺术-数据展示技巧应用实战
【快班】【免费公开课】玩转数据科学——IBM DSX
【快班】【免费公开课】《Hadoop入门手册》——Apache Hadoop集群安装
【快班】【免费公开课】赢在大数据-数据化运营落地实战
【快班】大数据管理
【快班】Streams流计算引航公开课
【快班】抽样调查
【快班】LATEX公式排版系统引航
【快班】Watson Analytics数据分析应用实战公开课
【快班】数据陷阱解读
【快班】R七种武器之文本挖掘包tm
【快班】R七种武器之可视化JS库HTMLWidgets包
【快班】R七种武器之数据加工厂plyr
【快班】R七种武器之交互化展示包shiny
【快班】R七种武器之网络爬虫RCurl
【快班】R七种武器之数据可视化包ggplot2
【快班】R七种武器之金融数据分析quantmod
【快班】Java经验谈
【快班】Go语言实战编程
【快班】DB2 V11新特性全解析
【快班】DB2数据库引航公开课
【快班】STATA统计分析入门
【快班】初识正则表达式
【快班】perl语言入门
【快班】Scala语言入门
【快班】Puppet 运维自动化
【快班】Qt编程快速入门
【快班】python web框架企业实战详解
【快班】数据治理及数据仓库模型设计
【快班】DevSecOps安全交付应用实战
【快班】JavaScript突击-从精通到项目实战
【快班】R语言魔鬼训练营
【快班】基于案例学习bash脚本编程
【快班】量化投资基础计算与模型
【快班】老板说服术之玩转数据展示
【快班】数据库系统实现技术内幕
【快班】Goldengate从入门到精通
【快班】Oracle 12c特性解读-容器数据库和灾备
【快班】Oracle 12C RAC集群原理与管理实战
【快班】Mycat从入门到精通
【快班】基于案例学SQL优化
【快班】大型电商分布式系统实践
【快班】Java魔鬼训练营
【快班】面试突击-数据结构与算法速成
【快班】Excel数据分析师突击—从入门到精通到项目实战
【快班】自己动手实践神经网络
【快班】自然语言处理软件实验
【快班】Redis技术实战
【快班】推荐系统
【快班】MongoDB实战
【快班】应用系统架构优化方法与案例实战
【快班】HBase从入门到精通
【快班】Hive数据仓库实践
【快班】Hadoop数据分析平台
【快班】数据分析与SAS
【快班】比特币
【快班】机器读心术之文本挖掘与自然语言处理
【快班】机器读心术之神经网络与深度学习
【快班】快速上手Jmeter性能测试工具
【快班】软件性能测试
【快班】软件自动化测试Selenium2
【快班】大数据必知的java基础
【快班】快速数据挖掘平台RapidMiner
【快班】R语言编程技巧
【快班】深入BI之Kettle篇
【快班】基于案例学Java服务器端程序设计
【快班】Scala从基础到开发实战
【快班】供应链物流—电商发展的“核”动力
【快班】详解SQL与PL/SQL
【快班】Oracle职业直通车
【快班】深度玩转Excel
【快班】Hadoop应用开发实战案例
【快班】大数据的Linux基础
【快班】机器学习
【快班】量化投资
【快班】SPSS数据分析入门与提高
【快班】Python数据分析
【快班】NoSQL与NewSQL数据库引航
【快班】大数据算法导论
【快班】大数据的矩阵计算基础
【快班】R语言数据分析、展现与实例
【快班】大数据的统计学基础

热招课程

◆ Oracle DBA从小白到入职实战应用(第九期)
◆ Python金融投资分析实践(第九期)
◆ 深入浅出Spring(第八期)
◆ 深度学习框架Tensorflow学习与应用(第八期)
◆ Elastic Stack实战(第一期)
◆ 【免费公开课】R七种武器之金融数据分析quantmod(第40期)
◆ Python突击—从入门到精通到项目实战(第13期)
◆ MySQL DBA从小白到大神实战(第11期)
◆ 大数据的Linux基础(第23期)
◆ Python金融业数据化运营实战(第二期)
◆ Kafka原理剖析及实战演练(第11期)
◆ 区块链新时代:技术原理与实操(第一期)
◆ 【免费公开课】数据科学无难事(第二期)
◆ 敏捷Agile快速入门(第四期)
◆ 数据库系统实现技术内幕(第13期)
◆ Python自然语言分析(第12期)
◆ 股票投资高手武器系列之缠论系统(第三期)
◆ 测试架构师核心技术(第二期)
◆ 【免费公开课】数据陷阱解读(第35期)
◆ 深入浅出Oracle(第十期)
◆ 深度学习框架Caffe学习与应用(第八期)
◆ 机器学习(第25期)
◆ 大数据必知的java基础(第11期)
◆ Python数据科学商业实践(第二期)
◆ 【百万年薪系列】视觉的盛宴:深度玩转人脸识别(第四期)
◆ 数据科学家养成:从零入门机器学习(第二期)
◆ 大数据算法导论(第17期)
◆ MySQL性能优化最佳实践(第七期)
◆ python网络爬虫应用实战(第四期)
◆ 知识图谱实战(第五期)
◆ OpenAI强化学习实战(第三期)
◆ DL4CV实战——构建基于深度学习的智能图像识别系统(第三期)
◆ 金融的人工智能革命(第七期)
◆ 人脸识别精准安防讲习班(第二期)
◆ 左飞的机器学习十八般算法武艺详解(第七期)
◆ 区块链技术从入门到精通(第九期)
◆ Python数据分析(第16期)
◆ 【免费公开课】R七种武器之网络爬虫RCurl(第20期)
◆ 基于案例学习时间序列分析(第五期)

GMT+8, 2018-11-20 03:35 , Processed in 0.184386 second(s), 33 queries .