文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

dubbo怎么实现consumer从多个group中调用指定group的provider

2023-07-05 14:17

关注

本篇内容主要讲解“dubbo怎么实现consumer从多个group中调用指定group的provider”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“dubbo怎么实现consumer从多个group中调用指定group的provider”吧!

背景

在工作中,遇到这样的场景:

有个es索引构建服务,需要从各个业务服务获取索引的信息,从而构建索引,业务服务都实现同一个接口IndexInfoProvider,通过设置不同的group来达到区分的效果(group就是es索引名)。

索引构建服务在内存维护了一个Map<String, IndexInfoProvider> providerMap,key是索引名&mdash;&mdash;也就是provider的group,value是IndexInfoProvider服务的consumer。

为了图方便,索引构建服务还一次性初始化了所有consumer,假设总共有200个分组,那么Map就会缓存200个consumer,初始化的时候巨慢。如果不一次性初始化,而是按需的话,代码会变得复杂一些,可能需要像双重检验这样的措施。而且因为是缓存,必然也会遇到缓存一致性的问题,例如新增一个索引。

基于这样的问题,就想着,dubbo的一个consumer,能不能按需调用指定分组的provider呢~

过程

为什么必须缓存那么多consumer

为什么有200个分组,就要缓存200个consumer,而不是像我们平时那样,1个就可以呢?

dubbo怎么实现consumer从多个group中调用指定group的provider

业务服务在实现IndexInfoProvider接口的时候,都指定是分组,而且分组名,就是对应的索引名。

相应的,消费者就必须指定消费的分组,200个索引,自然就需要200个consumer。

consumer只能调用一个group的provider么

在我们日常的使用中,consumer基本都是只能调用一个group的provider。但实际上,dubbo是支持调用多个group的provider的。

dubbo怎么实现consumer从多个group中调用指定group的provider

这样写是指定a分组和b分组,多个分组之间用英文逗号分隔

dubbo怎么实现consumer从多个group中调用指定group的provider

这样写,是所有的分组

group="*"能代替Map<String, IndexInfoProvider>么

如果将es索引构建服务的IndexInfoProvider接口的consumer分组设置为group="*",然后在调用接口的时候,根据需要,从一堆provider中筛选出指定group的provider,只调用这些provider,是不是就可以代替Map缓存了?

初步方案:

似乎是可行的?

理想很美好,现实很骨感

通过源码和代码debug发现,consumer持有的Invoker,有点像一个责任链。

如果是单分组&mdash;&mdash;!group.contains(",") && !group.equals("*"),那么会是这样:

MockClusterInvoker->FailoverClusterInvoker

如果是多分组,则会变成:

MockClusterInvoker->MergeableClusterInvoker->FailoverClusterInvoker

负载均衡的机制,是得到了FailoverClusterInvoker才会生效

MockClusterInvoker只是一种降级机制,不是导致问题的原因

问题是出在MergeableClusterInvoker,下面是导致问题的代码!!!

dubbo怎么实现consumer从多个group中调用指定group的provider

代码大概的意思是:消费者没有指定合并策略,那么就会调用第一个有效的服务提供者,如果都是无效,就直接调用第一个。

我是没有指定合并策略的,所以会变成调用第一个有效的服务提供者。根本走不到负载均衡那里。

不指定合并策略不行,那指定呢?指定合并策略会怎样呢?

dubbo怎么实现consumer从多个group中调用指定group的provider

dubbo怎么实现consumer从多个group中调用指定group的provider

指定了合并策略,会调用所有invoker,然后用Merger合并结果。

这种很适合这样种场景:

一部分数据在服务A,一部分数据在服务B,需要分别调用A和B,然后把两者的结果集合并

设想着这样的方案:

虽然不是什么优雅的方式,但是,似乎是能做到的???

实际上,行不通,达不到想要的效果。原因是MergeableClusterInvoker内部是用线程池并发调用的,ThreadLocal里的分组信息会丢失

dubbo怎么实现consumer从多个group中调用指定group的provider

还有机会么

MergeableClusterInvoker类是没有留拓展的余地啦,还有其他机会么?MergeableClusterInvoker的Invokers列表从哪里来的?

dubbo怎么实现consumer从多个group中调用指定group的provider

Invokers是从directory来的,这里有没有拓展的余地呢?

有的,在AbstractDirectory的list方法

dubbo怎么实现consumer从多个group中调用指定group的provider

看到这,发现用路由spi,还是有机会的,如果实现动态路由,每次只给MergeableClusterInvoker返回指定分组的Invoker,是不是就可以呢?怎么让routers包含我们自定义的路由spi呢?

dubbo怎么实现consumer从多个group中调用指定group的provider

需要url上携带了router参数,但是这里的url的参数是由谁决定的?@Reference 注解是没有没有的指定router参数的&hellip;

最后debuig,兜兜转转,发现只能靠重写ReferenceConfig类的loadRegistries方法,往url上加上动态路由的参数。

dubbo怎么实现consumer从多个group中调用指定group的provider

成果

AssignGroupRouterFactory

public class AssignGroupRouterFactory implements RouterFactory {    public static final String NAME = "assignGroup";    @Override    public Router getRouter(URL url) {        return new AssignGroupRouter(url);    }}

AssignGroupRouter

public class AssignGroupRouter implements Router {    private final URL url;    public AssignGroupRouter(URL url) {        this.url = url;    }    @Override    public URL getUrl() {        return url;    }    @Override    public <T> List<Invoker<T>> route(List<Invoker<T>> invokers, URL url, Invocation invocation) throws RpcException {        String assignGroup = IndexInfoProviderInvoker.getAssignGroup();        if (Objects.isNull(assignGroup)) {            return invokers;        }        return invokers.stream()            .filter(invoker -> {                URL invokerUrl = invoker.getUrl();                return Objects.equals(assignGroup, invokerUrl.getParameter(Constants.GROUP_KEY));            }).collect(Collectors.toList());    }    @Override    public int compareTo(Router o) {        return 1;    }}

AssignGroupReferenceConfig

public class AssignGroupReferenceConfig<T> extends ReferenceConfig<T> {    @Override    protected List<URL> loadRegistries(boolean provider) {        List<URL> urls = super.loadRegistries(provider);        if (CollectionUtils.isEmpty(urls)) {            return urls;        }        // 指定动态路由,路由方式为assignGroup        return urls.stream()            .map(url -> url.addParameter(Constants.ROUTER_KEY, "assignGroup").addParameter(Constants.RUNTIME_KEY,                "true"))            .collect(Collectors.toList());    }}

IndexInfoProviderInvokerProxy

@Componentpublic class IndexInfoProviderInvokerProxy {    public static final ThreadLocal<String> INDEX_TYPE_THREAD_LOCAL = new ThreadLocal<>();    private final IndexInfoProvider indexInfoProvider;    public IndexInfoProviderInvokerProxy(IndexInfoProvider indexInfoProvider) {        this.indexInfoProvider = indexInfoProvider;    }        public List<IndexDocument> getDocsByIdRange(String indexType, long start, long end) {        return invokeWitchIndexType(indexType, () -> indexInfoProvider.getDocsByIdRange(start, end));    }    private <T> T invokeWitchIndexType(String indexType, Supplier<T> supplier) {        INDEX_TYPE_THREAD_LOCAL.set(indexType);        T result = supplier.get();        INDEX_TYPE_THREAD_LOCAL.remove();        return result;    }}

到此,相信大家对“dubbo怎么实现consumer从多个group中调用指定group的provider”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯