文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

mycat配置文件的详细介绍

2024-04-02 19:55

关注

这篇文章主要为大家分享mycat的配置文件。文中还介绍了mycat常用的几个分片算法的计算过程和使用方法,希望大家通过这篇文章能有所收获。


常用配置文件间的关系

mycat配置文件的详细介绍

由上图可以看到 Mycat 的核心配置文件均采用xml格式,这几个配置文件的用途如下:

应用连接Mycat服务时,Mycat首先会通过server.xml中的配置信息进行用户认证。用户通过验证后,所看到的逻辑库、逻辑表都是schema.xml中所配置的。当使用了水平切分时,Mycat会通过rule.xml里配置的规则来定位具体的物理数据库位置,从而完成写入/读取数据。


server.xml 配置详解

1、system 标签

用于配置 Mycat 的系统参数,其格式如下:

<system>
    <!-- ${key}表示配置属性的名称,${value}表示该配置属性的值 -->
    <property name="${key}">${value}</property>
</system>

配置 Mycat 服务端口示例:

<system>
    <property name="serverPort">3306</property>
</system>

常见的系统参数举例:

<system>
    <!-- mycat 服务连接端口 -->
    <property name="serverPort">8066</property>
    <!-- mycat 服务管理端口 -->
    <property name="managerPort">9066</property>
    <!-- mycat 服务监听的ip -->
    <property name="bindIp">0.0.0.0</property>
    <!-- 0为需要密码登陆、1为不需要密码登陆;默认为0,设置为1则需要指定默认账户-->
    <property name="nonePasswordLogin">0</property>
    <!-- 前端连接的写队列大小 -->
    <property name="frontWriteQueueSize">2048</property>
    <!-- 设置字符集编码 -->
    <property name="charset">utf8</property>
    <!-- mycat 的进程数量 -->
    <property name="processors">8</property>
    <!-- 闲置连接超时时间,单位:毫秒 -->
    <property name="idleTimeout">1800000</property>
    <!-- 默认最大返回的数据集大小 -->
    <property name="defaultMaxLimit">100</property>
    <!-- 允许的最大包大小 -->
    <property name="maxPacketSize">104857600</property>
    <!-- 0遇上没有实现的报文(Unknown command:),就会报错、1为忽略该报文,返回ok报文。
在某些mysql客户端存在客户端已经登录的时候还会继续发送登录报文,mycat会报错,该设置可以绕过这个错误-->
    <property name="ignoreUnknownCommand">0</property>
    <property name="useHandshakeV10">1</property>
    <property name="removeGraveAccent">1</property>
    <!-- 1为开启实时统计、0为关闭 -->
    <property name="useSqlStat">0</property>
    <!-- 1为开启全加班一致性检测、0为关闭 -->
    <property name="useGlobleTableCheck">0</property>
    <!-- SQL 执行超时 单位:秒-->
    <property name="sqlExecuteTimeout">300</property>
    <property name="sequnceHandlerType">1</property>
    <!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
    <property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
    <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
    <property name="subqueryRelationshipCheck">false</property>
    <property name="sequenceHanlderClass">io.mycat.route.sequence.handler.HttpIncrSequenceHandler</property>
    <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
    <property name="processorBufferPoolType">0</property>
    <!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志-->
    <property name="handleDistributedTransactions">0</property>
    <!-- off heap for merge/order/group/limit  1开启;0关闭 -->
    <property name="useOffHeapForMerge">0</property>
    <!--是否采用zookeeper协调切换  -->
    <property name="useZKSwitch">false</property>
    <!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
    <property name="strictTxIsolation">false</property>
    <!-- Mycat连接数据库时使用的隔离级别
         1 - 读未提交
         2 - 读已提交
         3 - 可重复读
         4 - 串行化
     -->
    <property name="txIsolation">2</property>
    <property name="useZKSwitch">true</property>
    <!--如果为0的话,涉及多个DataNode的catlet任务不会跨线程执行-->
    <property name="parallExecute">0</property>
</system>

2、user 标签

用于配置Mycat的访问用户及权限,其格式如下:

<user name=${username}>
    <property name="${key}">${value}</property>
    ...
</user>

配置示例:

<!-- 用户名 -->
<user name="mall">
    <!-- 密码 -->
    <property name="password">123456</property>
    <!-- 允许该用户访问的逻辑库 -->
    <property name="schemas">mall_db</property>
    <!-- 可配置多个允许访问的逻辑库,使用逗号分隔 -->
    <!-- <property name="schemas">mall_db,db1,db2</property>  -->
    <!-- 是否只读 -->
    <property name="readOnly">false</property>
</user>

除了配置对库的权限可能还不够,有时候我们需要配置用户对某些表的访问权限。如下示例:

<!-- 用户名 -->
<user name="mall">
    <!-- 密码 -->
    <property name="password">123456</property>
    <!-- 允许该用户访问的逻辑库 -->
    <property name="schemas">mall_db,db1,db2</property>

    <!-- 表级 DML 权限配置,check属性表示是否开启该配置 -->
    <privileges check="true">
        <!-- 特别权限应用的逻辑库 -->
        <schema name="mall_db" dml="0110">
            <!-- 
                配置用户对该表的访问权限,dml属性用于指定权限位,
                如果table标签没有配置该属性的话,默认取schema标签的dml属性值,
                剩余没有配置的其他表默认也是取schema标签的dml属性值
            -->
            <table name="user_table" dml="0000"></table>
            <table name="order_table" dml="1111"></table>
        </schema>
    </privileges>
</user>

dml属性配置的数字是权限位,分别对应着insert,update,select,delete四种权限。例如,当dml的值为0110时,表示拥有updateselect权限,不具有insertdelete权限。所以权限位为1时代表拥有对应的操作权限,为0时代表没有该操作权限。

在该示例中,mall用户对:

加密明文密码

以上配置用户的示例中,密码都是以明文的形式写在配置文件中。但用户的密码是安全敏感的,一般不会直接在配置文件中写明文密码,而是写一个加密过后的密码。否则只要拥有查看server.xml文件的权限,就能轻易获取到各个用户的密码,这是非常不安全的。

因此,Mycat 提供了一个工具用于加密明文密码,该工具在一个jar包内,可使用如下命令对密码进行加密:

[root@txy-server /usr/local/mycat]# java -cp lib/Mycat-server-1.6.7.4-release.jar io.mycat.util.DecryptUtil 0:root:123456

参数说明:

执行成功后,会得到一个加密后的字符串:

GO0bnFVWrAuFgr1JMuMZkvfDNyTpoiGU7n/Wlsa151CirHQnANVk3NzE3FErx8v6pAcO0ctX3xFecmSr+976QA==

复制该字符串,替换配置文件中的明文密码,如下示例:

<user name="root" defaultAccount="true">
        <!-- 需要声明使用的是加密后的密码 -->
        <property name="usingDecrypt">1</property>
        <property name="password">GO0bnFVWrAuFgr1JMuMZkvfDNyTpoiGU7n/Wlsa151CirHQnANVk3NzE3FErx8v6pAcO0ctX3xFecmSr+976QA==</property>
        ...
</user>

log4j2.xml 配置文件

我们都知道Mycat是使用Java进行开发的,所以其日志框架也是使用Java生态圈内的log4j2。Mycat日志相关的配置都在 log4j2.xml 文件中,本小节将介绍一些常用的配置项。

1、Pattern 标签

用于配置 Mycat 日志输出格式,默认如下:

<PatternLayout>
    <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%t] (%l) - %m%n</Pattern>
</PatternLayout>

更多Pattern取值详见官方文档

这里截取了一段 Mycat 的日志内容,可以看到与Pattern是一一对应上的:

2020-01-09 15:22:57.960  INFO [Timer1] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:564)) - no ilde connection in pool 1838161857 ,create new connection for hostM1 of schema db3 totalConnectionCount: 0 increamentCount: 1

2、level 属性

用于配置 Mycat 的日志输出级别,默认为info级别:

<asyncRoot level="info" includeLocation="true">

关于log4j2的内建日志级别详见官方文档


rule.xml 文件详解

当我们需要通过Mycat实现数据分片时就得用到rule.xml配置文件,该文件用于配置:

这是一个分片规则的配置示例:

<!-- name属性指定分片规则的名称,必须在 rule.xml 文件中是唯一的 -->
<tableRule name="hash-mod-4_id">
    <rule>
        <!-- 指定使用表中的哪个列进行分片 -->
        <columns>id</columns>
        <!-- 指定表的分片算法,取值为<function>标签的name属性 -->
        <algorithm>hash-mod-4</algorithm>
    </rule>
</tableRule>

上面示例中所提到的&lt;function&gt;标签是用于配置表的分片算法或者说分片函数,如下示例:

<!-- name属性指定分片算法的名称,同样需要是唯一的;class属性指定该算法的具体实现类 -->
<function name="hash-mod-4"
          class="io.mycat.route.function.PartitionByHashMod">
    <!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
    <property name="count">4</property>
</function>

每个分片算法的所需参数可能不一样,所以property标签是可以有多个的,其属性也因具体的分片算法而异。如下示例:

<function name="partbyday"
          class="io.mycat.route.function.PartitionByDate">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sNaturalDay">0</property>
    <property name="sBeginDate">2014-01-01</property>
    <property name="sEndDate">2014-01-31</property>
    <property name="sPartionDay">10</property>
</function>

常用的几个分片算法

Mycat 内置了非常多的分片算法,并且我们也可以针对实际情况自行开发属于自己的分片算法。我们来看看常用分片算法都有哪些:

PartitionByMod

简单取模分片算法的工作原理:
mycat配置文件的详细介绍

配置示例:

<tableRule name="mod-long-2_id">
    <rule>
        <columns>id</columns>
        <algorithm>mod-long</algorithm>
    </rule>
</tableRule>
<function name="mod-long" 
          class="io.mycat.route.function.PartitionByMod">
    <!-- 取模的基数,也就是分片数量 -->
    <property name="count">2</property>
</function>

总结:

PartitionByHashMod

当需要取模的列为非整型时,就可以使用哈希取模分片算法。其工作原理如下图:
mycat配置文件的详细介绍

配置示例:

<tableRule name="hash-mod-2_login_name">
    <rule>
        <columns>login_name</columns>
        <algorithm>hash-mod</algorithm>
    </rule>
</tableRule>
<function name="hash-mod"
          class="io.mycat.route.function.PartitionByHashMod">
    <property name="count">2</property>
</function>

总结:

PartitionByFileMap

前两种分片算法都是通过算法本身去计算出分片位置,是无法人工控制的。如果需要人工控制分片位置时,就可以使用到分片枚举算法。该算法使得我们可以指定一些枚举值来对分片位置进行控制,其实也就相当于是人工指定了某些数据应该到哪个分片。

例如,某张表中有个存储用户所在区域id的列,我们希望将区域id与数据库所在的区域进行映射,以实现区域id为1的数据被分片到区域1数据库中,区域id为2的数据被分片到区域2数据库中,以此类推。在这种场景下就可以使用分片枚举算法,其工作原理如下图:
mycat配置文件的详细介绍

配置示例:

<tableRule name="hash-int_area_id">
    <rule>
        <columns>area_id</columns>
        <algorithm>hash-int</algorithm>
    </rule>
</tableRule>
<function name="hash-int"
          class="io.mycat.route.function.PartitionByFileMap">
    <!-- mapFile 文件名,位于config目录下 -->
    <property name="mapFile">partition-hash-int.txt</property>
    <!-- 指定mapFile中枚举的数据类型,0为整型;非0则为字符串类型 -->
    <property name="type">0</property>
    <!-- 是否启用默认节点,大于等于0为启用;小于等于0为不启用 -->
    <property name="defaultNode">0</property>
</function>

总结:

PartitionByPrefixPattern

以上所介绍到的分片算法都是根据列进行分片的,在实际工作中我们可能会遇到这样一个需求:需要通过字符串的前几位或后几位进行分片。例如,通过订单号的前五位进行分片计算,或按用户的姓氏进行分片。在这种场景下,就可以使用字符串范围取模分片算法。

例如,需要对ABCDEFGHI这个字符串的前三位进行分片计算,其计算过程如下图:
mycat配置文件的详细介绍

工作原理:
mycat配置文件的详细介绍

配置示例:

<tableRule name="sharding-by-prefix-pattern_login_name">
    <rule>
        <columns>login_name</columns>
        <algorithm>sharding-by-prefix-pattern</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-prefix-pattern"
          class="io.mycat.route.function.PartitionByPrefixPattern">
    <!-- mapFile 文件名,位于config目录下 -->
    <property name="mapFile">prefix-partition-pattern.txt</property>
    <!-- 求模基数 -->
    <property name="patternValue">128</property>
    <!-- 字符串范围,这里为前两位 -->
    <property name="prefixLength">2</property>
</function>

总结:


schema.xml 文件

用途:


schema 标签

schema 标签用于定义逻辑库,示例:

<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">
    ...
</schema>

table 标签

使用了schema 标签定义逻辑库之后,还需要使用table 标签定义逻辑表。示例:

<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">
    <!-- 多表定义 -->
    <table name="travelrecord,address" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" splitTableNames ="true"/>
    <!-- 单表定义 -->
    <table name="oc_call" primaryKey="id" dataNode="dn1$0-743" rule="latest-month-calldate"/>
</schema>

dataNode 标签

dataNode 标签用于定义数据节点,数据节点指向的是存储逻辑表的物理数据库。示例:

<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost1" database="db2" />
<dataNode name="dn3" dataHost="localhost1" database="db3" />
<!-- 可以配置一个范围 -->
<dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"/>

dataHost 标签

dataHost 标签用于定义后端物理数据库主机信息,该标签内有两个子标签,可以定义一组数据库主机信息。例如,定义一组主从集群结构的数据库主机信息:
mycat配置文件的详细介绍

在一个dataHost内可以定义多个writeHostreadHost。但是,如果writeHost指定的后端数据库宕机,那么这个writeHost绑定的所有readHost都将不可用。另一方面,由于这个writeHost宕机系统会自动的检测到,并切换到备用的writeHost上去。

配置示例:

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select user()</heartbeat>
    <!-- 可以配置多个写实例 -->
    <writeHost host="localhost" url="localhost:3306" user="root"
               password="123456">
        <readHost host="localhost" url="localhost:3306" 
                  user="root" password="123456"></readHost>
    </writeHost>
</dataHost>

dataHost 标签属性

另外,slaveThreshold 属性是用于配合writeType属性实现根据主从延时来进行主从切换的,其官方文档描述如下:

1.4 开始支持MySQL主从复制状态绑定的读写分离机制,让读更加安全可靠,配置如下:MyCAT 心跳检查语句配置为show slave statusdataHost 上定义两个新属性:switchType="2"slaveThreshold="100",此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制,Mycat心跳机制通过检测show slave status 中的"Seconds_Behind_Master"、"Slave_IO_Running"、"Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master 主从复制时延,当Seconds_Behind_Master &gt; slaveThreshold时,读写分离筛选器会过滤掉此Slave机器,防止读到很久之前的旧数据,而当主节点宕机后,切换逻辑会检查Slave上的Seconds_Behind_Master是否为0,为0时则表示主从同步,可以安全切换,否则不会切换。


heartbeat 标签

heartbeat 标签内指明用于和后端数据库进行心跳检查的语句。例如,MySQL可以使用select user(),Oracle可以使用select 1 from dual 等。

这个标签还有一个connectionInitSql属性,主要是当使用Oracla数据库时,需要执行的初始化SQL语句就这个放到这里面来。例如:alter session set nls_date_format='yyyy-mm-dd hh34:mi:ss'

注:如果是配置主从切换的语句在1.4之后必须是:show slave status


writehost 标签、readHost标签

这两个标签都用于配置一组主从数据库的相关信息,Mycat用这两个标签配置的连接信息实例化后端连接池。唯一不同的是,writeHost 配置写实例(master)、readHost 配置读实例(salve),并且readHostwriteHost 的子标签。通过这两个标签可以组合读/写实例以满足系统的要求。

在一个dataHost内可以定义多个writeHostreadHost。但是,如果writeHost指定的后端数据库宕机,那么这个writeHost绑定的所有readHost都将不可用。另一方面,当一个writeHost宕机时系统会自动检测到,并切换到备用的writeHost 上去。


writehost 标签及readHost标签的属性

这两个标签的属性相同,这里就一起介绍:


schema.xml 配置文件示例

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">
        <table name="travelrecord,address" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" splitTableNames="true"/>
        <!-- <table name="order" primaryKey="id" dataNode="dn1$0-743" rule="auto-sharding-long" splitTableNames="true"/> -->
    </schema>

    <dataNode name="dn1" dataHost="localhost1" database="db1"/>
    <dataNode name="dn2" dataHost="localhost1" database="db2"/>
    <dataNode name="dn3" dataHost="localhost1" database="db3"/>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"/> -->

    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="localhost:3306" user="root" password="123456">
            <readHost host="hostS1" url="localhost:3306" user="root" password="123456"/>
        </writeHost>
        <writeHost host="hostM2" url="localhost:3306" user="root" password="123456"/>
    </dataHost>
</mycat:schema>

看完上述内容,你们对mycat的配置文件有进一步的了解吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注亿速云行业资讯频道,感谢各位的阅读。


阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯