文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

golang 中带有切片的并发映射

2024-02-11 10:05

关注

php小编香蕉带来了一篇精彩的文章,讲述了golang中切片的并发映射。在这篇文章中,我们将了解如何在并发环境中使用切片进行映射操作,并解释了为什么切片在并发编程中非常有用。通过使用golang的并发机制,我们可以在多个goroutine中同时访问和修改切片,从而提高程序的性能和效率。无论你是初学者还是有经验的golang开发者,这篇文章都将给你带来有价值的知识和实践技巧。让我们一起来探索golang中带有切片的并发映射吧!

问题内容

在该领域的一位开发人员几个月前离开后,我一直在尝试解决并发问题,但我找不到解决此问题的适当方法。

对于上下文,我们将客户数据加载到如下结构中:

[ 键 ] -> { 值 }

[客户特定哈希] -> {数据点/文件切片}

示例 - 格式确实很糟糕,抱歉:

[a60d849ad97bfb833e1096941] 
-> 
{ 
 { StartDate: '01-02-2022', EndDate: '28-02-2022', DataFrames: [1598,921578,12981,21749,192578...]},
 { StartDate: '01-03-2022', EndDate: '28-03-2022', DataFrames: [1234,1567,6781,126978...]},
}

以上是因为我们有 100,000 名客户,并且每天晚上都会启动一个流程,根据每个客户的哈希值(或实际上是一个存储桶)来整合数据。在处理数据帧之前,我们会遍历切片并将数据帧“合并”成一个大的数据帧,其中包含许多法律/会计规则。

它在 goroutine 中运行,以尽快索引所有数据点。

所以实现本质上是一个 sync.Map[string, []DataFrame] 但我注意到虽然映射操作受到保护,但附加到数据帧切片却不受保护。每个哈希值每晚在该切片中可能有大约 20-30 个文件引用。

在过去的两年里,客户数据很有可能被错误地合并,我的任务是修复它。在sync.map之前,他们再次使用了带有Map的RWMutex,但不是切片,它指向本文作为指南。

首先,包含切片的 Map 的想法是适当的数据结构吗?

我尝试创建一个基于 RWMutex 的切片处理程序,但想知道 Map 是否可以有一个 chan DataFrame 来代替在索引客户文件时放入,然后一旦完成,第二步将其合并到一个数组中(如len(chanx)) 会被知道吗?

我主要来自 Java,所以我可能对一些术语感到困惑,所以我很抱歉。

解决方法

您有两个不同的问题:

  1. 更新地图时出现并发问题
  2. 更新地图条目时出现并发问题

sync.Map 将防止 1,但不能防止 2。

解决这个问题的一种方法是:

sync.Map[string, *DFrame]

哪里

type DFrame struct {
  sync.RWMutex 
  Data []DataFrame
}

一旦从地图中获取条目,您应该 LockRLock 它,然后使用数据。这不仅仅限于切片的附加。即使您只从数据帧中读取,您也必须 RLock 该结构。

因此,如果您要附加新的数据框:

df := &DFrame{}
entry,_:=m.LoadOrStore(key, df)
dfEntry:=entry.(*DFrame)
dfEntry.Lock()
dfEntry.Data=append(dfEntry.Data, newDataFrame)
dfEntry.Unlock()

以上就是golang 中带有切片的并发映射的详细内容,更多请关注编程网其它相关文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯