由于最近在进行一些论文的模拟,所以尝试了两种并行的方法:parallel
与snowfall
,这两种方法各有优缺,但还是推荐snowfall
,整体较为稳定,不容易因为内存不足或者并行线程过多等原因而报错。
并行计算
并行计算
: 简单来讲,就是同时使用多个计算资源来解决一个计算问题,是提高计算机系统计算速度和处理能力的一种有效手段。(参考:并行计算简介)
- 一个问题被分解成为一系列可以并发执行的离散部分;
- 每个部分可以进一步被分解成为一系列离散指令;
- 来自每个部分的指令可以在不同的处理器上被同时执行;
- 需要一个总体的控制/协作机制来负责对不同部分的执行情况进行调度。
而在我们平时的模拟中,在一台电脑或者服务器上,就是将我们的计算任务分散到多个不同的小的核中同时进行处理。
在模拟时什么地方可以用到并行?
并行操作
一般适用于重复的操作,比如重复随机按照相同分布生成数据,然后分别同时进行模拟。这里就可以用并行。亦或者我们要做permutation计算p-value等信息,也可以进行并行,因为这种操作是简单的重复即可完成。
但诸如迭代,递归等算法就很难用并行实现,这种都叫串行。因为后一个的对象需要前一个对象的信息,只能先算完前一个,再计算后一个内容。
在进行实际的模拟比较多种方法的优劣时,通常需要重复实验成百上千次,一般可对这里进行并行操作,写在这里的操作是最简单的。但会有个缺点:可能会出现挂服务器跑了半天还没出现结果,但是自己又并不知道运行到哪了的现象。虽然有一些方法可以进行查看(例如snowfall
中的sfCat()
函数,但是输出的结果是相对来说比较凌乱的,而且有时还会输出不了,具体用法后面会进行介绍),但是还是可能等很久才出一些结果,如果并行某一个地方维度或者代码有些小瑕疵,整段结果都没法进行输出。
所以建议,如果能将并行写到每个算法中间的话,就尽量写到每个具体算法之中(如需要permutation的写到permutation中;如要多次for循环计算统计量以及其它信息的,直接替代for循环),这样后面实际操作时也比较方便。(这样做的缺点是可能导致内存占用过多,从而使并行出错)
怎么在R中看我们可以使用并行?
只需使用如下命令,就可以查看我们电脑能够使用的线程数:
detectCores()
理论上这个值 ≥2,我们电脑就可以进行并行操作(现在的电脑基本都是4往上的)。当然通常我们不会使用所有的线程来进行并行,不然。。。电脑很可能会崩。
言归正传,下面介绍两种R中常用的并行操作(默认会apply族相关操作)。
parallel(简单)
一个是parallel
包,此包最大的优势就是非常的便捷,只需将我们原本的apply()
修改为parApply()
;lapply()
修改为parLapply()
;sapply()
修改为我们常用的parSapply()
等等,然后再在开头和结尾添加上相应的开始并行与结束并行的语句即可。
下面举个栗子(参考:How-to go parallel in R – basics + tips)
首先我们使用lapply()
进行下述操作向量化操作:
lapply(1:3, function(x) c(x, x ^ 2, x ^ 3))
输出结果为:
[[1]]
[1] 1 1 1[[2]]
[1] 2 4 8[[3]]
[1] 3 9 27
我们将其修改为并行方法,首先是初始化我们的并行:
library(parallel) # 载入parallel包
# 计算可用线程数,并设置并行使用线程数
no_cores <- detectCores() - 1
# 初始化
cl <- makeCluster(no_cores)
然后修改原本我们lapply()
的命令:
parLapply(cl, 1:3, function(x) c(x, x ^ 2, x ^ 3))
注意:这里与一般的lapply()
相比,要加上cl。
输出结果为:
[[1]]
[1] 1 1 1[[2]]
[1] 2 4 8[[3]]
[1] 3 9 27
到这里我们还没完,前面初始化我们的并行,这里需要结束我们的并行,释放我们用到的线程与内存,返还给系统。具体使用如下语句:
stopCluster(cl)
至此,一个简单的并行就完成了。
但事情远远没这么简单,在我们需要处理非常复杂的并行任务,反复使用parallel
库中的并行方法时,我们没办法将我们的线程数开到最大,有时候甚至连一半都不行,它会出现下面所示的报错:
Error in unserialize(node$con) : error reading from connection
这种情况出现的原因就很复杂了,这是因为“调用核心数–计算机内存”的不匹配造成的。如果你的数据集很大,调用了很多核心,那么你的计算机内存如果不够匹配,就会出现连接不上的不错,甚至还出现卡机等现象。简言之就是爆内存了。
解决方法(不能说完全解决,只能说能有效缓解):
使用更少的线程进行并行;
如果你的电脑内存非常小,有一个简单的方法确定你的最大使用线程:
max cores = memory.limit() / memory.size();
将大量的并行分小部分进行;在代码中多使用rm()
删除没用的变量,使用gc()
回收内存空间;
不过后面我们介绍另一种并行方式snowfall
相对而言就更加稳定了(虽然代码写起来会相对复杂一些),这个我们留待下一篇博客:R中两种常用并行方法snowfall 中进行详细介绍。
以上就是R语言常用两种并行方法之parallel详解的详细内容,更多关于R语言并行方法parallel的资料请关注编程网其它相关文章!