文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

R语言常用两种并行方法之parallel详解

2024-04-02 19:55

关注

由于最近在进行一些论文的模拟,所以尝试了两种并行的方法:parallelsnowfall,这两种方法各有优缺,但还是推荐snowfall,整体较为稳定,不容易因为内存不足或者并行线程过多等原因而报错。

并行计算

并行计算: 简单来讲,就是同时使用多个计算资源来解决一个计算问题,是提高计算机系统计算速度和处理能力的一种有效手段。(参考:并行计算简介)

而在我们平时的模拟中,在一台电脑或者服务器上,就是将我们的计算任务分散到多个不同的小的核中同时进行处理。

在模拟时什么地方可以用到并行?

并行操作一般适用于重复的操作,比如重复随机按照相同分布生成数据,然后分别同时进行模拟。这里就可以用并行。亦或者我们要做permutation计算p-value等信息,也可以进行并行,因为这种操作是简单的重复即可完成。

但诸如迭代,递归等算法就很难用并行实现,这种都叫串行。因为后一个的对象需要前一个对象的信息,只能先算完前一个,再计算后一个内容。

在进行实际的模拟比较多种方法的优劣时,通常需要重复实验成百上千次,一般可对这里进行并行操作,写在这里的操作是最简单的。但会有个缺点:可能会出现挂服务器跑了半天还没出现结果,但是自己又并不知道运行到哪了的现象。虽然有一些方法可以进行查看(例如snowfall中的sfCat()函数,但是输出的结果是相对来说比较凌乱的,而且有时还会输出不了,具体用法后面会进行介绍),但是还是可能等很久才出一些结果,如果并行某一个地方维度或者代码有些小瑕疵,整段结果都没法进行输出。

所以建议,如果能将并行写到每个算法中间的话,就尽量写到每个具体算法之中(如需要permutation的写到permutation中;如要多次for循环计算统计量以及其它信息的,直接替代for循环),这样后面实际操作时也比较方便。(这样做的缺点是可能导致内存占用过多,从而使并行出错)

怎么在R中看我们可以使用并行?

只需使用如下命令,就可以查看我们电脑能够使用的线程数:


detectCores()

理论上这个值 ≥2,我们电脑就可以进行并行操作(现在的电脑基本都是4往上的)。当然通常我们不会使用所有的线程来进行并行,不然。。。电脑很可能会崩。

言归正传,下面介绍两种R中常用的并行操作(默认会apply族相关操作)。

parallel(简单)

一个是parallel包,此包最大的优势就是非常的便捷,只需将我们原本的apply()修改为parApply()lapply()修改为parLapply()sapply()修改为我们常用的parSapply()等等,然后再在开头和结尾添加上相应的开始并行与结束并行的语句即可。

下面举个栗子(参考:How-to go parallel in R – basics + tips)

首先我们使用lapply()进行下述操作向量化操作:


lapply(1:3, function(x) c(x, x ^ 2, x ^ 3))

输出结果为:

[[1]]
[1] 1 1 1

[[2]]
[1] 2 4 8

[[3]]
[1]  3  9 27

我们将其修改为并行方法,首先是初始化我们的并行:


library(parallel) # 载入parallel包

# 计算可用线程数,并设置并行使用线程数
no_cores <- detectCores() - 1

# 初始化
cl <- makeCluster(no_cores)

然后修改原本我们lapply()的命令:


parLapply(cl, 1:3, function(x) c(x, x ^ 2, x ^ 3))

注意:这里与一般的lapply()相比,要加上cl。

输出结果为:

[[1]]
[1] 1 1 1

[[2]]
[1] 2 4 8

[[3]]
[1]  3  9 27

到这里我们还没完,前面初始化我们的并行,这里需要结束我们的并行,释放我们用到的线程与内存,返还给系统。具体使用如下语句:


stopCluster(cl)

至此,一个简单的并行就完成了。

但事情远远没这么简单,在我们需要处理非常复杂的并行任务,反复使用parallel库中的并行方法时,我们没办法将我们的线程数开到最大,有时候甚至连一半都不行,它会出现下面所示的报错:

Error in unserialize(node$con) : error reading from connection

这种情况出现的原因就很复杂了,这是因为“调用核心数–计算机内存”的不匹配造成的。如果你的数据集很大,调用了很多核心,那么你的计算机内存如果不够匹配,就会出现连接不上的不错,甚至还出现卡机等现象。简言之就是爆内存了。

解决方法(不能说完全解决,只能说能有效缓解):

使用更少的线程进行并行;

如果你的电脑内存非常小,有一个简单的方法确定你的最大使用线程:

max cores = memory.limit() / memory.size();

将大量的并行分小部分进行;在代码中多使用rm()删除没用的变量,使用gc()回收内存空间;

不过后面我们介绍另一种并行方式snowfall相对而言就更加稳定了(虽然代码写起来会相对复杂一些),这个我们留待下一篇博客:R中两种常用并行方法snowfall 中进行详细介绍。

以上就是R语言常用两种并行方法之parallel详解的详细内容,更多关于R语言并行方法parallel的资料请关注编程网其它相关文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯