炼数成金 门户 培训 查看内容

大话流式处理系统 Flink 核心原理

2019-6-20 17:23| 发布者: 仙豆| 查看: 74596| 评论: 0|原作者: 仙豆

快速报名入口
课程简介:
本课程首先介绍了 Flink 的开发/调试方法,并结合示例介绍了 DataSet 与 DataStream 的使用方法,Flink 的四层执行图。接着介绍了流式计算中需要解决的典型问题,如事件时间、乱序问题、窗口操作、Join 实现,以及 Flink 如何解决这些问题。然后分析了 Flink 的状态管理模型以及精典的 Asynchronous Barrier Snapshotting。最后介绍了如何诊断与优化 Flink 应用,并介绍了一个 Flink 应用案例。

课程大纲:
第一课:Flink 入门
1、Flink 开发/调试环境
2、DataSet 与 DataStream
3、几种 Key 选择方法性能比较
4、Accumulator 与 Counter

第二课:Flink 架构
1、Flink 架构
2、Flink 资源分配
3、Flink 任务调度
4、Chaining

第三课:Flink 流式计算之数据处理
1、Transformation
2、Join
3、Process Function
4、Async I/O

第四课:Flink 流式计算之时间
1、处理时间、事件时间与摄取时间
2、Watermark
3、如何处理乱序
4、Side output

第五课:Flink 流式计算之窗口
1、Tumbling Window
2、Sliding Window
3、Session Window
4、Global Window

第六课:Flink 流式计算之状态与容错
1、几种典型的状态类型
2、Asynchronous Barrier Snapshot
3、Queryable State
4、Flink 状态使用较佳实践

第七课:Flink Batch
1、Shuffle 机制
2、Iteration
3、自定义 Connector
4、容错机制

第八课:Flink Table API & SQL
1、静态表与动态表
2、连续查询中的 Join
3、UDF / UDAF / UDTF
4、与 Hive 集成

第九课:Flink 应用诊断与优化
1、背压问题发现与解决
2、内存调优
3、如何设计并发度
4、正确使用函数注解优化性能

第十课:Flink 实战演练

授课时间:
本期课程将于2021年6月18日开始。课程持续时间大约为12周。

授课对象:
对 Flink 或者相关大数据开发感兴趣的工程师、架构师以及产品经理。较好有 JavaScala 编程基础

讲师简介:
Jason,就职某大型互联网公司,多年Kafka和Hadoop及Spark研究、应用及调优经验。现从事大数据平台(集群规模两万加)优化工作。
微信公众号: 大数据架构

课程试听:

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!

本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回,优秀的学员还可以获得礼品 奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!

课程授课方式:
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。

您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答
全国统一咨询热线 4008-010-006

课程现开始接受报名,报名方式
网上报名 请点击:
大话流式处理系统 Flink 核心原理
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询群:
303917420(群内有培训公开课视频供大家免费观看)
咨询QQ: 2222010006 (上班时间在线)

技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!
快速报名入口

即将开课

 

GMT+8, 2024-3-19 11:27 , Processed in 0.339193 second(s), 34 queries .