首页 > 选课中心 > 数据分析 > 【快班】深入理解Storm与大数据实战
【快班】深入理解Storm与大数据实战
此课程所属 【hadoop大数据工程师职业方向】, 【数据分析师专业方向】专业,报名专业套餐,可享受0元学习特惠!点击了解详情
2017年09月22日 16点 共11课 ★★☆
开课时间 课程周期 难易度
招生中

立即报名
大数据 Hadoop 架构 集群 Storm
课程介绍
在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-click)Yahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为,LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等,而Storm是由Twitter开源的实时计算框架,适用于实时分析、在线机器学习、连续计算、分布式RPC和ETL等场景。

大数据技术的发展日新月异,不断涌现的技术代表着需求的旺盛。在本次课程中,用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路,包括数据收集、传输和计算、以及存储等;实时和离线的整合等内容。
课程大纲
第一课:实时计算平台介绍
介绍实时系统主要解决的业务问题和面临的挑战;
简要介绍实时平台的主要组件和构成,实时数据的收集通道和数据交互方式
实时数据核心组件Flume、Kafka的介绍,以及Storm在整个平台中所处的位置;
分享部分典型互联网公司实时平台的架构,如大众点评、美团、一号店等

第二课:Storm基本概念和组件介绍
Storm的基本组件:Nimbus、Supervisor、Worker、 Executor和Task的基本介绍;
集群组成:通常一个线上集群的如何构成;
Storm的可靠性:Storm如何保证可靠性以及数据的准确性;
Storm的数据分组和其他特性介绍;

第三课:Storm集群部署和配置
Storm的依赖组件介绍;
Storm的部署软硬件环境要求;
部署ZooKeeper
部署Storm到各个机器节点
配置Storm相关参数,以及核心参数介绍;
启动Storm相关进程;
Storm的守护进程;
提交Topology的过程介绍。

第四课:Storm基本应用的开发
Storm的应用开发和调试过程介绍,包括:
提交示例Topology到集群;
项目代码本地开发环境配置和依赖;
代码编译和打包以及注意事项;
本地代码调试过程;
线上Topology提交过程和问题分析。

第五课:Storm Nimbus和Supervisor深入剖析
Nimbus功能介绍和启动Nimbus服务过程分析;
Nimbus服务的执行过程剖析;
分配Executor的算法;
调度器介绍;
默认调度器DefaultScheduler和均衡调度器EvenScheduler逻辑分析;
Supervisor数据结构分析;
Supervisor的执行过程详解。

第六课:Storm Worker、Executor和Task深入分析
Worker的数据结构和架构;
Worker中的数据流分解;
创建Worker的过程;
Executor的创建过程;
创建Spout的Executor的过程和逻辑;
创建Bolt的Executor的过程和逻辑;
Task的创建过程;
Ack的原理介绍;
Acker Bolt的实现。

第七课:Storm运维和监控
主机信息监控;
日志和监控;
Storm UI和NimbusClient的使用;
Storm Metric的使用;
Storm ZooKeeper的目录详解和功能分析;
Storm Hook的使用。

第八课:Storm的扩展和二次开发
Storm UI原生功能介绍和数据含义;
Storm UI新功能需求实现;
Storm的Thrift接口介绍;
资源隔离方案简介;
基于CGroup的资源隔离的实现;
使用Docker运行Storm集群介绍。

第九课:Storm的实际应用案例分享
实时DAU计算实现;
实时用户画像;
实时个性化推荐;
广告投放的精准化

第十课:Storm使用经验和性能优化
使用经验;
性能优化建议;
自定义metric和性能数据收集

第十一课:其他实时平台介绍
JStorm介绍;
Spark Streaming介绍;
Heron介绍;
Flink介绍;
Storm和其他实时流处理框架的功能和性能对比
授课讲师
王新春,曾任大众点评数据平台高级架构师,负责大众点评数据平台工具系统、实时计算平台和在线服务等,推动大数据相关的技术、工具和分析在点评的应用和发展。为公司内部数百名数据分析师、BI和开发工程师提供数据分析工具和平台。平台离线处理数据量PB级别,实时处理数据量超过50TB。
个人著作:《Storm技术内幕与大数据实践》
课程学费
学费:400元(固定学费:300元 + 逆向学费:100元)
新颖的课程收费形式:“逆向收费”约等于免费学习,课程收取300元固定收费 + 100元逆向学费,学习圆满则全额奖励返还给学员!
特别说明如下
本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。 在 报名时每位报名者收取400元,其中300元为固定 收费,另外100元是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面作业,则100元全款退回。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!
课程授课方式

1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。

2、 学习作业:每课均有布置课后作业,学员完成书面作业后则可进入下一课学习。

3、 老师辅导:通过论坛站内信及邮件等多种方式与老师进行一对一互动。

4、 完成课程:最后一课作业交纳后,老师完成作业批改,即可完成课程并取回相应剩余的逆向学费。

联系我们
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询QQ群:413249461(群内有培训公开课视频供大家免费观看)
咨询QQ: 点击这里给我发消息 点击这里给我发消息
您是否对此课程还有疑问,那么请 点击进入FAQ,您的问题将基本得到解答
全国统一咨询热线: 4008-010-006
最新技术热点、 最新行业资讯,最新培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!

授课老师

其他快班课程

【快班】DevSecOps安全交付应用实战
【快班】JavaScript突击-从精通到项目实战
【快班】R语言魔鬼训练营
【快班】基于案例学习bash脚本编程
【快班】量化投资基础计算与模型
【快班】老板说服术之玩转数据展示
【快班】数据库系统实现技术内幕
【快班】Goldengate从入门到精通
【快班】Oracle 12C RAC集群原理与管理实战
【快班】Mycat从入门到精通
【快班】基于案例学SQL优化
【快班】Java魔鬼训练营
【快班】Excel数据分析师突击—从入门到精通到项目实战
【快班】自己动手实践神经网络
【快班】自然语言处理软件实验
【快班】应用系统架构优化方法与案例实战
【快班】Hadoop数据分析平台
【快班】数据分析与SAS
【快班】比特币
【快班】机器读心术之文本挖掘与自然语言处理
【快班】机器读心术之神经网络与深度学习
【快班】快速上手Jmeter性能测试工具
【快班】软件性能测试
【快班】软件自动化测试Selenium2
【快班】大数据必知的java基础
【快班】快速数据挖掘平台RapidMiner
【快班】R语言编程技巧
【快班】深入BI之Kettle篇
【快班】基于案例学Java服务器端程序设计
【快班】Scala从基础到开发实战
【快班】供应链物流—电商发展的“核”动力
【快班】详解SQL与PL/SQL
【快班】Oracle职业直通车
【快班】深度玩转Excel
【快班】Hadoop应用开发实战案例
【快班】大数据的Linux基础
【快班】机器学习
【快班】量化投资
【快班】SPSS数据分析入门与提高
【快班】Python数据分析
【快班】NoSQL与NewSQL数据库引航
【快班】大数据算法导论
【快班】大数据的矩阵计算基础
【快班】R语言数据分析、展现与实例
【快班】大数据的统计学基础

热招课程

◆ Oracle特殊恢复原理与实战(DSI系列)(第一期)
◆ 深度玩转Excel(第17期)
◆ 左飞的机器学习十八般算法武艺详解(第三期)
◆ MySQL性能优化最佳实践(第四期)
◆ Hadoop集群原理与运维实践(第三期)
◆ 【免费公开课】数据陷阱解读(第27期)
◆ Python自然语言分析(第八期)
◆ 开启智慧眼-深度玩转计算机视觉与机器认知(第二期)
◆ OpenCV计算机视觉产品实战(第三期)
◆ 区块链技术从入门到精通(第五期)
◆ 金融市场基础(第六期)
◆ 机器学习(第22期)
◆ Python网络爬虫(第九期)
◆ 人工智能前沿系列之深度剖析胶囊网络(第一期)
◆ 【免费公开课】验模神器AMOS(第五期)
◆ 机器学习及其matlab实现—从基础到实践(第十期)
◆ Redis技术实战 (第九期)
◆ 知识图谱实战(第二期)
◆ Python数据分析案例实战(第七期)
◆ python web框架企业实战详解(第15期)
◆ 深度学习框架Keras学习与应用(第三期)
◆ 【免费公开课】企业级Hadoop大数据平台实践(第14期)
◆ 基于R的Kaggle实战案例详解(第四期)
◆ 敏捷Agile快速入门(第三期)
◆ 机器读心术之神经网络与深度学习(第十期)
◆ Python数据分析(第12期)
◆ Spark企业级大数据项目实战(第二期)
◆ 【百万年薪系列】视觉的盛宴:深度玩转人脸识别(第一期)
◆ 【免费公开课】R七种武器之金融数据分析quantmod(第34期)
◆ 大数据算法导论(第15期)
◆ ROS机器人操作系统实战(第三期)
◆ 金融的人工智能革命(第三期)
◆ 软件架构必备基础(第三期)
◆ 大数据的矩阵计算基础(第14期)
◆ 企业大数据应用体系从0到1(第一期)
◆ 【免费公开课】R七种武器之网络爬虫RCurl(第17期)
◆ Oracle 12C RAC集群原理与管理实战(第12期)
◆ 面试突击-数据结构与算法速成(第五期)
◆ Python机器学习Kaggle案例实战(第五期)
◆ 深入浅出Git(第四期)
◆ 开源计算机视觉库OpenCV从入门到应用(第九期)
◆ 机器读心术之迁移学习(第一期)

GMT+8, 2018-2-22 20:38 , Processed in 0.167072 second(s), 33 queries .