ASP源码.NET源码PHP源码JSP源码JAVA源码DELPHI源码PB源码VC源码VB源码Android源码
当前位置:首页 >> 网络编程 >> 其他编程教程 >> spark-学习笔记--8 RDD持久化

spark-学习笔记--8 RDD持久化

来源:网络整理     时间:2018-10-31     关键词:

本篇文章主要介绍了" spark-学习笔记--8 RDD持久化",主要涉及到方面的内容,对于其他编程教程感兴趣的同学可以参考一下: spark-学习笔记--8 RDD持久化执行action时 触发执行前面定义的 transformation ,但前面的RDD 执行完就释放了并不保存数据...

spark-学习笔记--8   RDD持久化

执行action时 触发执行前面定义的 transformation  ,但前面的RDD 执行完就释放了并不保存数据。

下次再执行 action时会导致上次定义的RDD会重新计算数据。

RDD持久化运行保存 RDD数据--保存到内存、磁盘等

persist()或cache()方法

/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */

def cache(): JavaRDD[T] = wrapRDD(rdd.cache())

缓存的RDD 是容错的 

MEMORY_ONLY_2   对于上述任意一种持久化策略,如果加上后缀_2,代表的是将每个持久化的数据,都复制一份副本,并将副本保存到其他节点上


 spark-学习笔记--8   RDD持久化
 上面右侧日志是 使用了  
.cache()  , 会看到被缓存到内存日志


 spark-学习笔记--8   RDD持久化
 上面日志右侧是使用 
.cache()的 

一个程序里 第二次 调用rdd的 count() 方法 ,左边不cache会重新读取数据    右边从本地缓存读取

以上就介绍了 spark-学习笔记--8 RDD持久化,包括了方面的内容,希望对其他编程教程有兴趣的朋友有所帮助。

本文网址链接:http://www.codes51.com/article/detail_4595473.html

相关图片

相关文章