炼数成金 门户 培训 查看内容

《深入理解Storm与大数据实战》

2016-12-14 12:12| 发布者: 岸岸| 查看: 15792| 评论: 0|原作者: 岸岸

大数据 Hadoop 架构 集群 Storm

快速报名:深入理解Storm与大数据实战(第四期)

在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-click)Yahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为,LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等,而Storm是由Twitter开源的实时计算框架,适用于实时分析、在线机器学习、连续计算、分布式RPC和ETL等场景。

大数据技术的发展日新月异,不断涌现的技术代表着需求的旺盛。在本次课程中,用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路,包括数据收集、传输和计算、以及存储等;实时和离线的整合等内容。

课程大纲:

第一课:实时计算平台介绍
介绍实时系统主要解决的业务问题和面临的挑战;
简要介绍实时平台的主要组件和构成,实时数据的收集通道和数据交互方式
实时数据核心组件Flume、Kafka的介绍,以及Storm在整个平台中所处的位置;
分享部分典型互联网公司实时平台的架构,如大众点评、美团、一号店等

第二课:Storm基本概念和组件介绍
Storm的基本组件:Nimbus、Supervisor、Worker、 Executor和Task的基本介绍;
集群组成:通常一个线上集群的如何构成;
Storm的可靠性:Storm如何保证可靠性以及数据的准确性;
Storm的数据分组和其他特性介绍;

第三课:Storm集群部署和配置
Storm的依赖组件介绍;
Storm的部署软硬件环境要求;
部署ZooKeeper
部署Storm到各个机器节点
配置Storm相关参数,以及核心参数介绍;
启动Storm相关进程;
Storm的守护进程;
提交Topology的过程介绍。

第四课:Storm基本应用的开发
Storm的应用开发和调试过程介绍,包括:
提交示例Topology到集群;
项目代码本地开发环境配置和依赖;
代码编译和打包以及注意事项;
本地代码调试过程;
线上Topology提交过程和问题分析。

第五课:Storm Nimbus和Supervisor深入剖析

Nimbus功能介绍和启动Nimbus服务过程分析;
Nimbus服务的执行过程剖析;
分配Executor的算法
调度器介绍;
默认调度器DefaultScheduler和均衡调度器EvenScheduler逻辑分析;
Supervisor数据结构分析;
Supervisor的执行过程详解。

第六课:Storm Worker、Executor和Task深入分析
Worker的数据结构和架构;
Worker中的数据流分解;
创建Worker的过程;
Executor的创建过程;
创建Spout的Executor的过程和逻辑;
创建Bolt的Executor的过程和逻辑;
Task的创建过程;
Ack的原理介绍;
Acker Bolt的实现。

第七课:Storm运维和监控
主机信息监控;
日志和监控;
Storm UI和NimbusClient的使用;
Storm Metric的使用;
Storm ZooKeeper的目录详解和功能分析;
Storm Hook的使用。

第八课:Storm的扩展和二次开发
Storm UI原生功能介绍和数据含义;
Storm UI新功能需求实现;
Storm的Thrift接口介绍;
资源隔离方案简介;
基于CGroup的资源隔离的实现;
使用Docker运行Storm集群介绍。

第九课:Storm的实际应用案例分享
实时DAU计算实现;
实时用户画像;
实时个性化推荐;
广告投放的精准化

第十课:Storm使用经验和性能优化
使用经验;
性能优化建议;
自定义metric和性能数据收集

第十一课:其他实时平台介绍
JStorm介绍;
Spark Streaming介绍;
Heron介绍;
Flink介绍;
Storm和其他实时流处理框架的功能和性能对比

授课时间:
课程将于2017年9月23日开课,课程持续时间大约为13周。

授课对象:具有Linux操作一般知识,对Java些认识,对Storm实时数据分析平台有兴趣的IT人或学习者

收获预期:能独立架设Storm集群,并应用于数据分析工作

讲师简介:
王新春
曾任大众点评数据平台高级架构师,负责大众点评数据平台工具系统、实时计算平台和在线服务等,推动大数据相关的技术、工具和分析在点评的应用和发展。为公司内部数百名数据分析师、BI和开发工程师提供数据分析工具和平台。平台离线处理数据量PB级别,实时处理数据量超过50TB。
个人著作:《Storm技术内幕与大数据实践》

课程试听:


新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!

特别说明如下:
本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在 报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业(每周不超过2小时),则300元全款退回,优秀的学员还可以获得礼品 奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!

课程授课方式:
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。

附图:炼数成金大数据课程地图

您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答
全国统一咨询热线 4008-010-006

课程现开始接受报名,报名方式
网上报名 请点击:深入理解storm与大数据实战
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询群:485625800(群内有培训公开课视频供大家免费观看)
咨询QQ: 2222010006 (上班时间在线)

技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!

快速报名:深入理解Storm与大数据实战(第四期)

6

鲜花

握手

雷人

路过

鸡蛋

刚表态过的朋友 (6 人)

相关阅读

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2017-9-26 04:40 , Processed in 0.129490 second(s), 33 queries .