文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何使用go连接clickhouse

2023-07-05 13:37

关注

这篇文章主要介绍“如何使用go连接clickhouse”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“如何使用go连接clickhouse”文章能帮助大家解决问题。

近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务,报错信息也比较奇怪,No client available,研发查了一段时间没查出来,让运维这边继续查:

如何使用go连接clickhouse

运维同学查了各种监听配置,防火墙这些,都没什么问题,但是没有明确证据能够提供证明通过http方式能访问到数据库,时间拖得比较久,项目上就急了,让尽快找到问题,所以就用go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。

正文

先安装必要的库,clickhouse官方提供了2个版本的库,v1和v2,v1版本已经明确不会继续更新了,所以用新不用旧哈,可以用官方库的方式或者用dsn的方式,这个我下面一起说,安装库的命令:

如何使用go连接clickhouse

go get github.com/ClickHouse/clickhouse-go/v2

构造结构体

编写结构体,存放基本信息:

type Clickhouse struct {Host       string    // 服务端主机Port       int       // 端口DB         string    // 数据库User       string    // 用户名Password   string    // 密码Connection *sql.DB   // 建立连接后存放连接Rows       *sql.Rows // 运行sql后的结果存放}

Connection主要是用来建立连接后把相关信息存放,这样方便继续调用其他的方法,因为我的主要目的是测试数据库能否连通和运行Sql,所以这里Rows用来存放测试的select语句的结果。

参数读取

这块没什么好说的,连接的参数直接从命令行读取,用flag包就好:

var (host  = flag.String("host", "localhost", "clickhouse host")port  = flag.Int("port", 8123, "clickhouse port")user  = flag.String("user", "default", "clichouse user")pass  = flag.String("password", "", "clickhouse password")db    = flag.String("db", "default", "clickhouse database")query = flag.String("query", "show tables", "query you will run")mode  = flag.String("mode", "driver", "driver or dsn"))

前面几个参数不用解释,主要是querymodequery是要运行的sql语句,我们默认就认为跑的是select语句,然后是mode,允许选择模式,用户可以使用driver或者dsn两种模式进行连接,我写了两个不同的方法,其实也可以在一个Connect方法里做判断,看个人习惯;

建立连接

接下来我们建立数据库连接:

// func (c *Clickhouse) Conn() {c.Connection = clickhouse.OpenDB(&clickhouse.Options{Addr: []string{fmt.Sprintf("%s:%d", c.Host, c.Port)},Auth: clickhouse.Auth{Database: c.DB,Username: c.User,Password: c.Password,},Settings: clickhouse.Settings{"max_execution_time": 60,},DialTimeout: 5 * time.Second,Compression: &clickhouse.Compression{Method: clickhouse.CompressionBrotli,Level:  5,},// 必须添加协议方式Protocol: clickhouse.HTTP,})}func (c *Clickhouse) ConnDsn() {conn, err := sql.Open("clickhouse", fmt.Sprintf("http://%s:%d/%s?username=%s&password=%s", c.Host, c.Port, c.DB, c.User, c.Password))if err != nil {log.Printf("Connect to the server failed, %s.\n", err.Error())return}c.Connection = conn}

参考官网的实例,实现两种连接方式,关闭方法就直接把sql.DB和sql.Rows都关闭就可以了:

func (c *Clickhouse) Close() {c.Connection.Close()c.Rows.Close()}

发起查询

查询使用Query方法进行:

func (c *Clickhouse) Select(query string) {rows, err := c.Connection.Query(query)if err != nil {log.Printf("Query select failed, %s.\n", err.Error())return}c.Rows = rows}

查询的结果我保存到Rows里,方便后面的解析

结果解析

比较麻烦的就是结果的解析了,用过database/sql库的哥们都知道,这个库只提供了基础的一些接口,查询出来一般用Scan去获取数据,用法类似这样:

如何使用go连接clickhouse

问题就在于,Scan要指定和sql查询出来一样多的变量,对于我们这个小工具来说,sql是不一定的,所以查询出来的字段数量肯定yes不定的,如何动态处理这个问题,肯定是不能直接写一个结构体解决的,先看我的代码:

func (c *Clickhouse) Show() {cols, err := c.Rows.Columns()if err != nil {log.Printf("Failed to get table columns, %s.\n", err.Error())return}// 一行数据,使用any是为了避开数据类型的问题var rows = make([]any, len(cols))// 存实际的值,是byte数组,长度以列的数量为准var values = make([][]byte, len(cols))for i := 0; i < len(cols); i++ {rows[i] = &values[i]}// 打印表头fmt.Println(strings.Join(cols, ","))for c.Rows.Next() {if err = c.Rows.Scan(rows...); err != nil {fmt.Println(err)return}var vString []stringfor _, v := range values {vString = append(vString, string(v))}// 逐行打印出来fmt.Println(strings.Join(vString, ","))}}

大概思路是这样:

结果验证

OK,现在逻辑完成了,我们运行测试一下,

go run main.go -host hostname -password paswword -query "select * from clusters" -db system -mode dsn

如何使用go连接clickhouse

只查询2个字段,2行数据:

如何使用go连接clickhouse

关于“如何使用go连接clickhouse”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注编程网行业资讯频道,小编每天都会为大家更新不同的知识点。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯