唐宋 发表于 2018-1-28 23:57

spark 中如何避免使用 Shuffle?

spark 中如何避免使用 Shuffle?有没有实际案例?

mingyan926 发表于 2018-6-1 15:10

有用spark ml 做推荐系统么,可以做么,求指导(广告系统的 推荐业务)

JackPeng 发表于 2018-6-10 20:45

Spark的shuffle是数据倾斜的源头,可以通过map端聚合、map端join等方式避免shuffle
页: [1]
查看完整版本: spark 中如何避免使用 Shuffle?