文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

GO语言怎么实现协程池管理

2023-06-20 16:05

关注

本篇内容介绍了“GO语言怎么实现协程池管理”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

使用channel实现协程池

通过 Channel 实现 Goroutine Pool,缺点是会造成协程的频繁开辟和注销,但好在简单灵活通用。

package mainimport ("fmt""io/ioutil""net/http""sync")// Pool goroutine Pooltype Pool struct {queue chan intwg    *sync.WaitGroup}// New 新建一个协程池func New(size int) *Pool {if size <= 0 {size = 1}return &Pool{queue: make(chan int, size),wg:    &sync.WaitGroup{},}}// Add 新增一个执行func (p *Pool) Add(delta int) {// delta为正数就添加for i := 0; i < delta; i++ {p.queue <- 1}// delta为负数就减少for i := 0; i > delta; i-- {<-p.queue}p.wg.Add(delta)}// Done 执行完成减一func (p *Pool) Done() {<-p.queuep.wg.Done()}func (p *Pool) Wait() {p.wg.Wait()}func main() {// 这里限制100个并发pool := New(100) // sync.WaitGroup{}//假设需要发送1000万个http请求,然后我并发100个协程取完成这件事for i := 0; i < 10000000; i++ {pool.Add(1) //发现已存在100个人正在发了,那么就会卡住,直到有人完成了宣布自己退出协程了go func(i int) {resp, err := http.Get("https://www.baidu.com")if err != nil {fmt.Println(i, err)} else {defer resp.Body.Close()result, _ := ioutil.ReadAll(resp.Body)fmt.Println(i, string(result))}pool.Done()}(i)}pool.Wait()}

消费者模式实现协程池

频繁对协程开辟与剔除,如果对性能有着很高的要求,建议优化成固定数目的协程取 channel 里面取数据进行消费,这样可以避免协程的创建与注销。

package mainimport ("fmt""strconv""sync")// 任务对象type task struct {ProductionConsumer}// 设置消费者数目,也就是work pool大小func (t *task) setConsumerPoolSize(poolSize int) {t.Production.Jobs = make(chan *Job, poolSize*10)t.Consumer.WorkPoolNum = poolSize}// 任务数据对象type Job struct {Data string}func NewTask(handler func(jobs chan *Job) (b bool)) (t *task) {t = &task{Production: Production{Jobs: make(chan *Job, 100)},Consumer:   Consumer{WorkPoolNum: 10, Handler: handler},}return}type Production struct {Jobs chan *Job}func (c Production) AddData(data *Job) {c.Jobs <- data}type Consumer struct {WorkPoolNum intHandler     func(chan *Job) (b bool)Wg          sync.WaitGroup}// 异步开启多个work去处理任务,但是所有work执行完毕才会退出程序func (c *Consumer) disposeData(data chan *Job) {for i := 0; i <= c.WorkPoolNum; i++ {c.Wg.Add(1)go func() {defer func() {c.Wg.Done()}()c.Handler(data)}()}c.Wg.Wait()}func main() {// 实现一个用于处理数据的闭包,实现业务代码consumerHandler := func(jobs chan *Job) (b bool) {for jobs := range jobs {fmt.Println(jobs)}return}// new一个任务处理对象t := NewTask(consumerHandler)t.setConsumerPoolSize(500) // 500个协程同时消费// 根据自己的业务去生成数据通过AddData方法添加数据到生成channel,这里是100万条数据go func() {for i := 0; i < 1000000; i++ {job := new(Job)iStr := strconv.Itoa(i)job.Data = "定义任务数据格式" + iStrt.AddData(job)}}()// 消费者消费数据t.Consumer.disposeData(t.Production.Jobs)}

“GO语言怎么实现协程池管理”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯