1 | 春天来了一个需求
1.1 | 现状
- 不同工程团队有各自的 k8s 开发集群, 负责的服务部署在各自的集群上
- 但是这些服务之间存在调用关系(单项或者双向的)
- 不同 k8s 集群之间内网是联通的
- 其中一个集群要作为流量入口,面向用户
1.2 | 需求
- 实现服务跨集群访问
- 服务之间只能通过内网调用
- 统一的外部流量接入控制
2 | 方案有挺多的
跨集群访问,应该是一个比较普遍的需求,市面上有很多各种各样的方案。比如:
- 跨集群的注册发现服务 比如使用 nacos 作为跨集群的注册发现中间件,所有在不同集群里的服务都注册到 nacos 上,由 nacos 来进行服务的注册发现以及负载均衡。
- 配置集群内网SLB 每一个集群各自配置一个自己的内网 SLB 地址,通过 ingress 的 path 配置不同的路由转发。
- 使用ExternalName Service 在 请求发起方集群 配置 跨集群服务 在 本集群的 service,type 为 ExternalName 的headless service。
方案 | 优点 | 缺点 |
---|---|---|
跨集群的注册发现服务 | 无需额外运维要求 | 要求所有服务使用同一套注册发现服务,限制比较强,且注册发现服务不一定满足不同技术栈的团队,比如 nacos 就没有官方支持的 go sdk |
配置集群内网SLB | 对调用方友好,无需在调用方做额外运维配置,只需要正常业务代码内调用即可 | 对集群运维要求较高,需要有一定的运维知识,且如果没有现成的 SLB 组件,还需要自建,成本较高 |
使用ExternalName Service | 适用范围最广,使用最灵活,可以在任何阶段进行配置改造,对跨集群服务支持的调用方式兼容性好(支持 ClusterIP, NodePort 以及域名调用) | 对本方集群运维能力要求高 |
以上三种方案,都可以实现跨集群的服务调用。然而,方案三却是目前最符合现状且能推进下去的。所以,下面就方案三展开来说。
3 | 展开来讲讲
方案三用到了 k8s 的 ExternalName Service(这里不展开讲这是什么,感兴趣可以点击查看)。主要讲怎么用。下面分几个场景来讲解:
3.1 | 场景 1
假设:k8s2 集群有个服务 s2, 对外以 Ingress 方式提供服务,访问地址是: abc.com 调用方集群创建一个 service :
apiVersion: v1
kind: Service
metadata:
name: k8s2-s2
namespace: prod
spec:
type: ExternalName
externalName: abc.com
ports:
- name: http
port: 80
protocol: TCP
targetPort: 80
那么, 在调用方集群内的服务,就可以通过本集群的服务名(k8s2-s2.prod.svc.cluster.local
)去访问跨集群的服务。
3.2 | 场景 2
假设:k8s3 集群有个服务 s3, 对外以 NodePort 方式提供服务,访问地址是:192.168.0.199:30099 按照场景 1 的配置生成一个 service,可以用么?
apiVersion: v1
kind: Service
metadata:
name: k8s3-s3
namespace: prod
spec:
type: ExternalName
externalName: 192.168.0.199
ports:
- name: http
port: 80
protocol: TCP
targetPort: 30099
可以用,但是有问题。在 nginx 的日志里会疯狂打印一个错误:找不到 192.168.0.199 这个域名对应的 ip。原因是,在集群看来, externalName 字段是一个域名,是需要做 dns 解析成 ip 的。如果我们直接填一个 ip 的字段,虽然能用,但是会疯狂输出日志,冲掉正常 nginx 请求的日志。
那既然这样,改成域名调用呗。那么问题来了,对方给我一个 ip,我上哪去变一个域名呢?修改 hosts,准确的说,修改 k8s coredns 服务的 hosts:
# kubectl -n kube-system edit cm coredns
apiVersion: v1
data:
Corefile: |
.:53 {
...
hosts {
192.168.0.199 s3.k8s3
fallthrough
}
...
}
kind: ConfigMap
metadata:
name: coredns
namespace: kube-system
然后修改 service
apiVersion: v1
kind: Service
metadata:
name: k8s3-s3
namespace: prod
spec:
type: ExternalName
externalName: s3.k8s3
ports:
- name: http
port: 80
protocol: TCP
targetPort: 30099
此时,在调用方集群内的服务,就可以通过本集群的服务名(k8s3-s3.prod.svc.cluster.local
)去访问跨集群的服务。
4 | 说点非技术的
- 技术上的最优解,不一定是方案上的最优解,要考虑人的因素
- 一个和尚挑水吃,两个和尚抬水吃,三个和尚没水吃
- 如果改变不了周围,就勇敢改变自己
以上就是不同k8s集群间服务如何相互访问实现详解的详细内容,更多关于k8s 集群间服务相互访问的资料请关注编程网其它相关文章!