文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

怎么实现Go超时控制

2023-06-14 08:51

关注

这篇文章给大家分享的是有关怎么实现Go超时控制的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

为什么需要超时控制?

Go 超时控制必要性

Go 正常都是用来写后端服务的,一般一个请求是由多个串行或并行的子任务来完成的,每个子任务可能是另外的内部请求,那么当这个请求超时的时候,我们就需要快速返回,释放占用的资源,比如goroutine,文件描述符等。

怎么实现Go超时控制

服务端常见的超时控制

没有超时控制会怎样?

为了简化本文,我们以一个请求函数 hardWork 为例,用来做啥的不重要,顾名思义,可能处理起来比较慢。

func hardWork(job interface{}) error {  time.Sleep(time.Minute)  return nil}func requestWork(ctx context.Context, job interface{}) error { return hardWork(job)}

这时客户端看到的就一直是大家熟悉的画面

<img src="https://gitee.com/kevwan/static/raw/master/doc/images/loading.jpg" width="25%">

绝大部分用户都不会看一分钟菊花,早早弃你而去,空留了整个调用链路上一堆资源的占用,本文不究其它细节,只聚焦超时实现。

下面我们看看该怎么来实现超时,其中会有哪些坑。

第一版实现

大家可以先不往下看,自己试着想想该怎么实现这个函数的超时,第一次尝试:

func requestWork(ctx context.Context, job interface{}) error {  ctx, cancel := context.WithTimeout(ctx, time.Second*2)  defer cancel()  done := make(chan error)  go func() {    done <- hardWork(job)  }()  select {  case err := <-done:    return err  case <-ctx.Done():    return ctx.Err()  }}

我们写个 main 函数测试一下

func main() {  const total = 1000  var wg sync.WaitGroup  wg.Add(total)  now := time.Now()  for i := 0; i < total; i++ {    go func() {      defer wg.Done()      requestWork(context.Background(), "any")    }()  }  wg.Wait()  fmt.Println("elapsed:", time.Since(now))}

跑一下试试效果

➜ go run timeout.go
elapsed: 2.005725931s

超时已经生效。但这样就搞定了吗?

goroutine 泄露

让我们在main函数末尾加一行代码看看执行完有多少goroutine

time.Sleep(time.Minute*2)fmt.Println("number of goroutines:", runtime.NumGoroutine())

sleep 2分钟是为了等待所有任务结束,然后我们打印一下当前goroutine数量。让我们执行一下看看结果

➜ go run timeout.go
elapsed: 2.005725931s
number of goroutines: 1001

goroutine泄露了,让我们看看为啥会这样呢?首先,requestWork 函数在2秒钟超时后就退出了,一旦 requestWork 函数退出,那么 done channel 就没有goroutine接收了,等到执行 done <- hardWork(job) 这行代码的时候就会一直卡着写不进去,导致每个超时的请求都会一直占用掉一个goroutine,这是一个很大的bug,等到资源耗尽的时候整个服务就失去响应了。

那么怎么fix呢?其实也很简单,只要 make chan 的时候把 buffer size 设为1,如下:

done := make(chan error, 1)

这样就可以让 done <- hardWork(job) 不管在是否超时都能写入而不卡住goroutine。此时可能有人会问如果这时写入一个已经没goroutine接收的channel会不会有问题,在Go里面channel不像我们常见的文件描述符一样,不是必须关闭的,只是个对象而已,close(channel) 只是用来告诉接收者没有东西要写了,没有其它用途。

改完这一行代码我们再测试一遍:

➜ go run timeout.go
elapsed: 2.005655146s
number of goroutines: 1

goroutine泄露问题解决了!

panic 无法捕获

让我们把 hardWork 函数实现改成

panic("oops")

修改 main 函数加上捕获异常的代码如下:

go func() { defer func() {  if p := recover(); p != nil {   fmt.Println("oops, panic")  } }() defer wg.Done() requestWork(context.Background(), "any")}()

此时执行一下就会发现panic是无法被捕获的,原因是因为在 requestWork 内部起的goroutine里产生的panic其它goroutine无法捕获。

解决方法是在 requestWork 里加上 panicChan 来处理,同样,需要 panicChan 的 buffer size 为1,如下:

func requestWork(ctx context.Context, job interface{}) error {  ctx, cancel := context.WithTimeout(ctx, time.Second*2)  defer cancel()  done := make(chan error, 1)  panicChan := make(chan interface{}, 1)  go func() {    defer func() {      if p := recover(); p != nil {        panicChan <- p      }    }()    done <- hardWork(job)  }()  select {  case err := <-done:    return err  case p := <-panicChan:    panic(p)  case <-ctx.Done():    return ctx.Err()  }}

改完就可以在 requestWork 的调用方处理 panic 了。

超时时长一定对吗?

上面的 requestWork 实现忽略了传入的 ctx 参数,如果 ctx 已有超时设置,我们一定要关注此传入的超时是不是小于这里给的2秒,如果小于,就需要用传入的超时,go-zero/core/contextx 已经提供了方法帮我们一行代码搞定,只需修改如下:

ctx, cancel := contextx.ShrinkDeadline(ctx, time.Second*2)

Data race

这里 requestWork 只是返回了一个 error 参数,如果需要返回多个参数,那么我们就需要注意 data race,此时可以通过锁来解决,具体实现参考 go-zero/zrpc/internal/serverinterceptors/timeoutinterceptor.go,这里不做赘述。

完整示例

package mainimport (  "context"  "fmt"  "runtime"  "sync"  "time"  "github.com/tal-tech/go-zero/core/contextx")func hardWork(job interface{}) error {  time.Sleep(time.Second * 10)  return nil}func requestWork(ctx context.Context, job interface{}) error {  ctx, cancel := contextx.ShrinkDeadline(ctx, time.Second*2)  defer cancel()  done := make(chan error, 1)  panicChan := make(chan interface{}, 1)  go func() {    defer func() {      if p := recover(); p != nil {        panicChan <- p      }    }()    done <- hardWork(job)  }()  select {  case err := <-done:    return err  case p := <-panicChan:    panic(p)  case <-ctx.Done():    return ctx.Err()  }}func main() {  const total = 10  var wg sync.WaitGroup  wg.Add(total)  now := time.Now()  for i := 0; i < total; i++ {    go func() {      defer func() {        if p := recover(); p != nil {          fmt.Println("oops, panic")        }      }()      defer wg.Done()      requestWork(context.Background(), "any")    }()  }  wg.Wait()  fmt.Println("elapsed:", time.Since(now))  time.Sleep(time.Second * 20)  fmt.Println("number of goroutines:", runtime.NumGoroutine())}

感谢各位的阅读!关于“怎么实现Go超时控制”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯