绝情G涛涛 发表于 2018-6-10 21:39

spark在海量数据处理上,比hadoop的优势在哪里?

hadoop因为hive的稳定性和易操作性,在处理海量数据时候,虽然有时候慢点,但是一直都很方便解决问题。但是现在大家都在谈spark,它的优势在哪里呢?

绝情G涛涛 发表于 2018-6-10 21:40

我就知道大家都说spark基于内存的,处理速度快,可是实际工作中,可没有那么多的内存供我们进行海量数据处理啊,那为什么还用spark,优势是什么呢?

robertw2011 发表于 2018-6-10 23:06

基于内存的方式,Rdddataframe dataset方式,比Hadoop 的MapReduce好不少的地方;还有钨丝计划等等。

qq741437829 发表于 2018-6-10 23:47

数据量在一定规模的时候,用spark更快,hadoop的mapreduce多用于离线计算

gaoqigaoqi 发表于 2018-8-26 14:29

讲真,如果不是实时要求,我才不想用spark,纯提数据hive就很好。当然spark更灵活

ckk 发表于 2018-8-26 20:18

Hadoop一般用于离线数据处理
Spark,Storm一般用于实时数据处理

shidongdong 发表于 2018-8-27 07:59

spark基于内存的,处理速度快

tjxjj 发表于 2018-10-30 13:12

一个提供存储方案,一个提供计算方案,计算模型不一样而已
页: [1]
查看完整版本: spark在海量数据处理上,比hadoop的优势在哪里?