Python 连接clickhouse数据库以及新建表结构，csv导入数据

目录

一、Python 连接clickhouse数据库

◼ clickhouse对外的接口协议通常有两种形式：

◼ 代码实现部分：

二、使用客户端工具DBeaver连接clickhouse

◼ 新建clickhouse表

三、DBeaver 连接clickhouse 用csv文件导入数据

◼ 导入方式：

方法一：使用DBeaver自带导入数据功能；

方法二：具体方式如下：

解决问题：数据导入之后，出现中文乱码。

---

ClickHouse是近年来备受关注的开源列式数据库（DBMS），主要用于数据联机分析（OLAP）领域，于2016年开源。

◼ clickhouse对外的接口协议通常有两种形式：

1. 常规的http协议，java的jdbc就采用这种方式，端口一般是8123；
2. 面向python的tcp协议，端口号通常为9000（对，是“通常”）。

端口问题，HTTP协议(默认端口8123)；TCP (Native)协议（默认端口号为9000），Python里的clickhouse_driver用的tcp端口9000，DBeaver使用的是HTTP协议所以可以使用8123端口。

◼ 代码实现部分：

 （1）我们首先需要安装第三方库clickhouse_driver，

（2）完整代码：使用clickhouse_driver 包中的Client类，其中需要修改的参数有host,user,password，

from clickhouse_driver import Clientclient = Client(host='127.0.0.1',port='9000',user=clickhouse_user ,password=clickhouse_pwd)sql = 'select * from db_name.tb_name limit 0, 1000'ans = client.execute(sql)

 

 

前提：Clickhouse客户端工具为dbeaver，首先需要安装连接工具Dbeaver。

Dbeaver安装教程地址：DBeaver安装与使用教程（超详细安装与使用教程）_多喝清晨的粥的博客-CSDN博客_dbeaver安装配置

（1）打开Dbeaver，通过操作界面菜单中“数据库”创建配置新连接，如下图所示，选择并下载ClickHouse驱动（默认不带驱动），

（2）填写基础配置

DBeaver配置是基于Jdbc方式，一般默认URL和端口如下：

jdbc:clickhouse://192.168.17.61:8123

如下图所示。在是用DBeaver连接Clickhouse做查询时，有时候会出现连接或查询超时的情况，这个时候可以在连接的参数中添加设置socket_timeout参数来解决问题。

jdbc:clickhouse://{host}:{port}[/{database}]?socket_timeout=600000

 （3）测试连接，提示未安装驱动

到了这一步，说明连接配置信息填写完成，在弹出来的地方选择下载按钮，等它全部下载完驱动后即可测试连接。

如下图所示，开始下载驱动文件：

 点击“下载”，

 

等待下载完成,

 （4）再次测试连接，连接成功，

 可以看到已经成功连接到了Clickhouse。

 

 

◼ 新建clickhouse表

（1）右击，选择“新建列”，进行创建表，

（2）或者使用代码进行创建表，

 在sql编辑器中写入想要创建的表结构代码，

CREATE TABLE table_name (    node_id Int128,    node_name VARCHAR(100),    ll Int16,    ink VARCHAR(500),    onk VARCHAR(500),    fne VARCHAR(500),    tne VARCHAR(500)) Engine = MergeTree()   ORDER BY node_id

 这样表就创建好了。

◼ 导入方式：

（1）先再需要导入的数据表中 插入几条数据 然后 导出 csv 格式的数据。【目的是为了查看导出的cxv 的数据是是什么格式， 我们导入也按照这个格式导入】

（2）再导出的表格中 加入我们需要导入的数据，格式和导出的数据格式保持一致。

（3）然后 通过csv 的方式导入数据到数据库表。

方法一：使用DBeaver自带导入数据功能；

右击需要导入csv文件的表，选择“导入数据”，依次进行一下步骤，

 

 

 

 

导入数据成功了。

方法二：具体方式如下：

1. 首先将待导入的csv数据表传输到clickhouse所在的服务器；
2. 在数据库中提前建好表，和等待导入数据匹配；
3. 在客户端输入以下命令：

clickhouse-client --databse="testdb" --query="INSERT INTO testdb.TEST_table FORMAT CSV" < /dataset/data.csv

若出现问题，可以试一下 将FORMAT CSV 改为 FORMAT CSVWithNames
 

解决问题：数据导入之后，出现中文乱码。

解决方法：将csv 表格文件用记事本打开 另存为的方式 保存新的文件 ，编码格式选择为为UTF-8 然后保存。 然后从新的修改编码格式之后的文件导入数据库表格， 中文乱码的问题就解决了。

来源地址：https://blog.csdn.net/qq_45956730/article/details/127246423