hadoop spark shuffle

简单说一下hadoop和spark的shuffle过程

发布于 2020-03-25 22:10:26

如题

关注者

0

被浏览

786

Luke老师 2020-03-25

这家伙很懒，什么也没写！

Hadoop：map端保存分片数据，通过网络收集到reduce端。

Spark：spark的shuffle实在DAGSchedular划分Stage的时候产生的，TaskSchedular要分发Stage到各个worker的executor。减少shuffle可以提高性能

1 个回答

撰写答案

请登录后再发布答案，点击登录

登录注册新账号

关于作者

Truth

这家伙很懒，什么也没写！

提问

回答

被采纳

0

关注TA

发私信

相关问题

热门问题

1

锁算力的显卡到底锁了什么？

2

如何让docker-compose.yml 修改配置后容器生效

3

查询列表一直报reflect: reflect.flag.mustBeAssignable using unaddressable value

4

要不要等 m2 芯片，好焦虑~~~

5

fastadmin 的表单怎么填写data-rule验证规则？比如输入的字不少于两个字符

6

你们感觉gin和beego哪个好？

7

用go有没有人遇到fatal error: runtime: out of memory这个问题

8

docker出现：Cannot start service mysql: b'driver failed programming external connectivity on endpoint

9

react 的 hooks怎么监测路由变化，useEffect可以检测到吗

10

docker 容器里不能ping，提示：ping: permission denied (are you root?)

热门标签

fastdfs python docker golang QT paddle java 机器学习 mysql 树莓派 m1 linux php git android 数据科学 scrapy win10 安卓 elasticsearch api nested Xunsearch vue jwt yar react 统计学习 padddle centos conda springboot go macos uniapp openstack NPU nginx selenium c++ namecheap sitemap javascript paddlehub fastadmin devops ipad 前端 ubuntu mongodb

推荐专家

answer

16个答案 16次被采纳

叶知秋

0个答案 0次被采纳

fate

1个答案 0次被采纳

埃及野男

2个答案 0次被采纳

莫小豆

98个答案 64次被采纳

发布
问题

手机
浏览

扫码手机浏览