本篇目录：
- 1、Spark踩坑vlog——join时shuffle的大坑
- 2、下面哪些rdd操作会导致shuffle过程
- 3、Spark之SortShuffle原理参考
- 4、Shuffle过程的优点有哪些,缺点有哪些,怎么克服?
- 5、Spark内存管理详解(下)——内存管理
Spark踩坑vlog——join时shuffle的大坑
1、Spark的join操作可能触发shuffle操作。shuffle操作要经过磁盘IO，网络传输，对性能影响比较大。本文聊一聊Spark的join在哪些情况下可以避免shuffle过程。
下面哪些rdd操作会导致shuffle过程
Merge过程。这里的merge如map端的merge动作，只是数组中存放的是不同map端copy过来的数值。
Task。在 Map 阶段 partition 数目保持不变。在 Reduce 阶段，RDD 的聚合会触发 shuffle 操作，聚合后的 RDD 的 partition 数目跟具体操作有关，例如 repartition 操作会聚合成指定分区数，还有一些算子是可配置的。
其中RDD和父RDD间的依赖分为两种，窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。窄依赖指一个父RDD的分区数据最多被子RDD的一个分区使用。宽依赖指多个RDD的分区会依赖同一个父RDD分区，会引起shuffle。
将当前RDD进行重新分区，生成一个以numPartitions参数指定的分区数存储的新RDD。参数shuffle为true时在变换过程中进行shuffle操作，否则不进行shuffle。
（3）调用aggregateByKey算子：将RDD每个分区中每个键的最大值求和：（4）调用aggregateByKey算子：将RDD每个分区中每个键的所有值求和：相同点：都是对RDD原有的分区进行重新划分。
重要提示：在Sorted-Shuffle中会排序吗？Sort-Based Shuffle的Mapper端在 Sort and Spill 的过程中会排序操作，而且是Spill到磁盘的时候再进行排序的。但在Reducer阶段的ApependOnlyMap过程不进行排序的。
Spark之SortShuffle原理参考
Spark2起默认使用Sort Shuffle，并且Sort Shuffle在map端有三种实现，分别是UnsafeShuffleWriter、BypassMergeSortShuffleWriter、SortShuffleWriter，根据运行时信息自动选择对应的实现。
为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Off-heap）内存，使之可以直接在工作节点的系统内存中开辟空间，存储经过序列化的二进制数据。
Spark streaming： 构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。
shuffle，即混洗、洗牌的意思，是指MapReduce程序在执行过程中，数据在各个Mapper(Combiner、Sorter、Partitioner)、Reducer等进程之间互相交换的过程。 关于上图Shuffle过程的几点说明： 说明：map节点执行map task任务生成map的输出结果。
窄依赖典型的操作有map， filter， union等，宽依赖典型的操作有groupByKey， sortByKey等。可以看到，宽依赖往往意味着shuffle操作，这也是Spark划分stage的主要边界。
在Spark1的时候，引入了Sort Based Shuffle；并且在Spark0时，Sort Based Shuffle已经成为Shuffle的默认选项。
Shuffle过程的优点有哪些,缺点有哪些,怎么克服?
问题六：跳曳步舞对身体有没有好处 5分 曳步舞动作简洁，快速有力，节奏感强，主要表现通过双脚动作快速切换，通过滑行，踢腿，踩踏，转身等动作完成的一种即兴表演，自由度很高，个性十足的舞步。1丶可以强身健体。
锻炼身体呀。 鬼步的基础是滑步，因为鬼步是在滑步的基础上多加了几个拍子，也就是几个动作，练好滑步，先熟练的掌握双腿的协调性，学起鬼步来就容易得多了。
iPod shuffle缺点：Voice Over的音量偏小。 切换列表不方便，每次都要从第一个列表开始翻。 不支持自压的AAC、M4A文件，只支持iTunes下载/转码的M4A。三，总体来说iPod shuffle的音质还是不错的，只是低音表现力不强 。
Spark内存管理详解(下)——内存管理
在Spark6之前，这些配置都是相对静态的 6中引入了UNIFIED MEMORY（统一内存管理）特性，进行优化。（统一内存指的是Execution +Storage的内存 ）在默认情况下Execution 和Storage各占一半内存。
若内置或下载的应用软件开机时自动运行，建议：关闭自动运行设定-应用程序管理器-点击需要关闭的应用，将“自动运行”前对勾取消，逐个关闭不必要的应用(此方式适用于OS4及以上系统)。
Task manager管理的JVM内存主要分为 Network Buffers 、 MemoryManager 和 Free 三个区域。
到此，以上就是小编对于简单说说什么是spark的shuffle过程的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
微信扫一扫打赏
