炼数成金 storm实时数据分析平台
storm实时数据分析平台详解
Storm基本概述与现状
storm的简介
storm的简介
场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然
Storm 的入门介绍和原理(官方文档)
Storm 的入门介绍和原理(官方文档)
In this tutorial, you’ll learn how to create Storm topologies and deploy them to a Storm cluster. Java will be the main language used, but a few examples will use Python to illustrate Storm’s multi-
storm入门介绍
storm入门介绍
问题导读1、什么是Storm?2、Storm常用于处理什么,哪些环境下用?3、Storm集群由哪些构成?Storm简介Storm是一个分布式、可靠、容错的流式数据处理系统。处理工作被分派给不同类型的组件(components),每个组件分别
Storm的功能、特点及基本组件架构
storm入门介绍二
storm入门介绍二
问题导读1、什么是分组和消息流?2、Storm以什么方式向每个bolt实例发送消息?3、怎么创建、使用Storm项目?本章我们将会创建一个Storm工程和我们的第一个Storm topology。提示:下述假设你已经安装JRE1.6或者更高级
storm的指南
storm的指南
Storm这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下,基本是用Clojure写的。Storm为分布式实时
storm入门教程简介
storm入门教程简介
1.1 实时流计算互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求,软件行业除了个人操作系统之外,数据库(更精确的
Storm集群搭建及测试
storm的安装部署
storm的安装部署
本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。1. Storm集群组件Storm集群中包含两类节点:主控节点(Maste
storm 原理简介及单机版安装指南
storm 原理简介及单机版安装指南
目录1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本
Twitter Storm集群安装配置
Twitter Storm集群安装配置
本文介绍Storm的集群安装配置过程,以及安装过程中遇到的问题解决。Storm的依赖软件比较多,需要装Python、zookeeper、zeromq以及jzmq,然后才是storm的安装。第一步,安装Python2.7.2# wgethttp://www.python.org/f
Storm 的搭建
Storm 的搭建
Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等. Storm特点:(Storm类似手扶电梯,不出故障就会一直运行. hadoop类似升降电梯,到达一定程度会停
Twitter Storm: 搭建Storm集群
Twitter Storm: 搭建Storm集群
本文翻译自:https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster。这篇文章介绍搭建storm集群并运行的步骤。如果你使用AWS, 那么你可以看一下storm-deploy项目,storm-deploy项目使得在Amazon EC
Storm集群安装配置过程
Storm集群安装配置过程
这几天在其他同事的帮助下,调研了twitter的开源流式计算框架storm的使用,下面分享一下storm集群的安装配置过程。以作备忘之用。我的实验机器为:195和196如果转载请注明出处:comaple的博客首先:安装依赖包1,Zer
Grouping策略介绍与并行度以及消息的可靠处理机制
Storm入门教程:一致性事务
Storm入门教程:一致性事务
Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决
Storm入门教程:消息的可靠处理
Storm入门教程:消息的可靠处理
一、简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。二、理解消息被完整处理一个消息
流分组策略(Stream grouping)
流分组策略(Stream grouping)
问题导读:1.hadoop有master与slave,Storm与之对应的节点是什么?2.Storm控制节点上面运行一个后台程序被称之为什么?3.Supervisor的作用是什么?4.Topology与Worker之间的关系是什么?5.Nimbus和Supervisor之间的
Storm Topology的并发度
Storm Topology的并发度
概念 一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology 一个worker可用包含一个或多个executor, 每个component
DRPC原理与介绍
Storm DRPC 介绍(2)
Storm DRPC 介绍(2)
问题导读1.LinearDRPCTopologyBuilder的作用是什么?2.远程模式DRPC与本地DRPC有什么不同之处?3.例子topology分几步执行?LinearDRPCTopologyBuilderStorm自带了一个称作LinearDRPCTopologyBuilder的topology build
Storm DRPC 介绍(1)
Storm DRPC 介绍(1)
问题导读:1.DRPC的作用是什么?2.DRPC工作流是怎样的?3.DRPC分为几部分?4.服务端有几部分组成?1. DRPC介绍1.Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处
Storm DRPC实战
Storm DRPC实战
DRPC ,Distributed Remote Procedure Call RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算 DRPC, 只是storm应用的一个场景, 并且storm提供相应的编程框
Storm高级原语(二) — DRPC
Storm高级原语(二) — DRPC
问题导读1、什么是Distributed RPC?2、函数与函数之间靠什么来区分?3、LinearDRPCTopologyBuilder的工作原理是什么?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型(CPU intensive)的计算任
Twitter Storm: DRPC学习
Twitter Storm: DRPC学习
问题导读:1.Storm为什么引入DRP?2.是否能根据实例新建DRPC实例?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的
Storm Transaction 介绍与原理
Storm Transaction 原理+实战
Storm Transaction 原理+实战
Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you do things like count
Storm Transaction 介绍
Storm Transaction 介绍
问题导读1、怎么在storm上面做统计个数之类的事情?2、如何实现Transactional Topologies?3、与每次只处理一个tuple的简单方案相比, 一个更好的方案是什么?Transactional topology是一个0.9版本中被弃用的原语,
Storm高级原语(五) — State in Trident
Storm高级原语(五) — State in Trident
问题导读1、一个opaque transactional spout有哪些特性?2、有哪几种不同类可以容错spout?3、OpaqueMap’s会用什么来调用multiPut方法?Trident在读写有状态的数据源方面是有着一流的抽象封装的。状态既可以保留在t
Storm高级原语(三) — Trident topology
Storm高级原语(三) — Trident topology
问题导读1、Trident是什么?2、如何使用Trident的API来完成大吞吐量的流式计算?3、如何使用stream作为输入并计算每个单词的个数?Trident是在storm基础上,一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量
Storm on yarn
Storm On YARN安装
Storm On YARN安装
问题导读: 我们知道了storm on yarn的架构和意义,那么如何一步一步安装storm on yarn呢?storm on yarn下载地址:https://github.com/yahoo/storm-yarn下载好的storm-yarn-master.zip 得放到linux进行解压,在win
Storm On YARN的介绍
Storm On YARN的介绍
1. 背景知识(1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文章:Storm简介。(2
Storm的案例
Storm 实战及实例讲解一
Storm 实战及实例讲解一
——应用场景分析,drpc服务器配置先给大家打打气,看看效果。这是taobao对外公布的storm使用情况,请大家欣赏,这是一个系列文章希望自己能够完成。给自己加油,写出来有利于日后查询同时也惠及他人。该storm入门教
使用Storm实现实时大数据分析
使用Storm实现实时大数据分析
简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据
滑动窗口在storm中的实现
滑动窗口在storm中的实现
问题导读:1.滑动的触发由谁来完成?2.你认为滑动窗口与storm该如何结合?3.滑动窗口与storm结合是如何实现的?这里需要对storm有所了解,可以参考总体认识storm包括概念,场景,组成,明白storm之后,我们继续下面
参考资料
Apache的文档
Apache的文档
Storm is a distributed realtime computation system. Similar to how Hadoop provides a set of general primitives for doing batch processing, Storm provides a set of general primitives for doing realtime
storm入门书getting-started-with-storm(的中文翻译)
storm入门书getting-started-with-storm(的
本书的译文仅限于学习和研究之用,没有原作者和译者的授权不能用于商业用途。译者序Storm入门终于翻译完了。首先感谢并发编程网同意本人在网站上首发本书译文,同时还要感谢并发编程网的各位大牛们的耐心帮助。这是
发表评论

最新评论

引用 math_pro 2015-2-27 17:21
阅读一下,了解一下
引用 3190958208 2015-1-12 22:26
出错了??
引用 vfeichang 2014-11-22 22:31
这是什么?
引用 胡钰铭 2014-11-22 09:22
太感谢了!
引用 wgyts 2014-9-18 12:30
非常感谢!

查看全部评论(5)

 

GMT+8, 2018-11-14 06:09 , Processed in 0.086767 second(s), 16 queries .