WalMiner是从PostgreSQL的WAL(write ahead logs)日志中解析出执行的SQL语句的工具，并能生 成出对应的undo SQL语句。
referenceXlogMiner renamed to WalMiner XlogMiner Enhancements Released and Renamed to WalMinerPosted on 2019-02-22 by Highgo Software
reference XLogMiner reference WalMiner
注意：walminer是Highgo开源的一款软件。HGDB所有版本均支持walminer。
walminer安装
reference WalMiner
1 配置要求
需要将数据库日志级别配置需要大于minimal
创建归档路径
mkdir /home/hgdb565/archive/ -p
必须设置如下三个参数，据库日志级别配置需要大于minimal wal_level minimal, archive, hot_standby, or logical ，若想做最完整的日志挖掘，建议设 置为logical。
alter system set wal_level = "logical";
alter system set archive_mode = on;
alter system set archive_directory = "/home/hgdb565/archive";
修改后重启数据库生效。
2 版本查看
查看本机环境数据库版本
select kernel_version();
or
select version();
PG版本支持 PG9.5.0之前的版本没有做过测试 PG9.5.0~PG10.X版本使用WalMiner_10_X PG11之后的版本使用WalMiner_11_X
3 编译安装
download and reaad README.md.or read online README.md
unzip movead-XLogMiner-WalMiner_10_0_1.zip
cp -rpi ./XLogMiner/walminer/ ./postgresql-10.6/contrib/
cd ./postgresql-10.6/contrib/walminer
make && make install
make install
/bin/mkdir -p "/opt/pg106/lib/postgresql"
/bin/mkdir -p "/opt/pg106/share/postgresql/extension"
/bin/mkdir -p "/opt/pg106/share/postgresql/extension"
/bin/install -c -m 755 walminer.so "/opt/pg106/lib/postgresql/walminer.so"
/bin/install -c -m 644 ./walminer.control "/opt/pg106/share/postgresql/extension/"
/bin/install -c -m 644 ./walminer--1.0.sql "/opt/pg106/share/postgresql/extension/"
note 将walminer目录放置到编译通过的PG源码的"../contrib/"目录下
hgdb无源码编译目录。可在对应版本的pg中编译好，再将文件拷贝到hgdb的目录下。
cd /opt/pg106/share/postgresql/extension/
scp wal* hgdb565@192.168.6.10:/opt/HighGo5.6.5/share/postgresql/extension
cd /opt/pg106/lib/postgresql
scp walminer.so hgdb565@192.168.6.10:/opt/HighGo5.6.5/lib/postgresql/
4 创建扩展
创建walminer的extension
create extension walminer;
注意HGDBV5之前为： create extension xlogminer;
===========
场景一：从WAL日志产生的数据库中直接执行解析
1. 创建walminer的extension
create extension walminer;
2. Add wal日志文件
-- 增加wal文件：
select walminer_wal_add("/opt/HighGo5.6.5/data/pg_wal");
-- 注：参数可以为目录或者文件
3. Remove wal日志文件
-- 移除wal文件：
select walminer_wal_remove("/opt/HighGo5.6.5/data/pg_wal");
-- 注：参数可以为目录或者文件
4. List wal日志文件
-- 列出wal文件：
select walminer_wal_list();
5. 执行解析
select walminer_start(’START_TIMSTAMP’,’STOP_TIMESTAMP’,’START_XID’,’STOP_XID’)
---如果分析全部日志：
select walminer_start("null","null",0,0);
---将系统表修改结果输出到$PGDATA/walminer/temp下：
select walminer_start("null","null",0,0,true);
- START_TIMESTAMP：指定输出结果中最早的记录条目，即从该时间开始输出分析数据；若该参数值为空，则以分析日志列表中最早数据开始输出；若该参数值指定时间没有包含在所分析xlog列表中，即通过分析发现全部早于该参数指定时间，则返回空值。
- STOP_TIMESTAMP：指定数据结果中最晚的记录条目，即输出结果如果大于该时间，则停止分析，不需要继续输出；如果该参数值为空，则从START_TIMESTAMP开始的所有日志都进行分析和输出。
- START_XID：作用与START_TIMESTAMP相同，指定开始的XID值；
- STOP_XID：作用与STOP_TIMESTAMP相同，指定结束的XID值
:warning: 两组参数只能有一组为有效输入，否则报错。
6. 解析结果查看
select * from walminer_contents;
7. 结束walminer操作
该函数作用为释放内存，结束日志分析，该函数没有参数。
select walminer_stop();
场景二：从非WAL产生的数据库中执行WAL日志解析
:warning: 要求执行解析的PostgreSQL数据库和被解析的为同一版本
于生产数据库
1.创建walminer的extension
create extension walminer;
2.生成数据字典
select walminer_build_dictionary("/opt/HighGo5.6.5/store_dictionary");
-- 注：参数可以为目录或者文件
于测试数据库
1. 创建walminer的extension
create extension walminer;
将字典文件和日志传输到测试数据库
将父目录创建出来
mkdir -p /opt/pg106/data/archive_hgdb565
cd /opt/pg106/
scp pg10@192.168.6.12:/opt/HighGo5.6.5/store_dictionary .
copy wal or archive
cd /opt/pg106/data/archive_hgdb565
scp pg10@192.168.6.12:/opt/HighGo5.6.5/data/pg_wal/0* .
2. load数据字典
select walminer_load_dictionary("/opt/pg106/store_dictionary");
-- 注：参数可以为目录或者文件
如出现一下错误，将父目录创建出来即可
postgres=# select walminer_load_dictionary("/opt/pg106/store_dictionary");
ERROR: It is failed to create dictionary "/opt/pg106/data/walminer/temp".
将父目录创建出来
mkdir -p /opt/pg106/data/walminer
3. add wal日志文件
-- 增加wal文件：
select walminer_wal_add("/opt/pg106/data/archive_hgdb565");
-- 注：参数可以为目录或者文件
4. remove wal日志文件
-- 移除wal文件：
select walminer_wal_remove("/opt/test/wal");
-- 注：参数可以为目录或者文件
5. list wal日志文件
-- 列出wal文件：
select walminer_wal_list();
-- 注：参数可以为目录或者文件
6. 执行解析
select walminer_start(’START_TIMSTAMP’,’STOP_TIMESTAMP’,’START_XID’,’STOP_XID’)
select walminer_start("null","null",0,0);
- START_TIMESTAMP：指定输出结果中最早的记录条目，即从该时间开始输出分析数据；若该参数值为空，则以分析日志列表中最早数据开始输出；若该参数值指定时间没有包含在所分析xlog列表中，即通过分析发现全部早于该参数指定时间，则返回空值。
- STOP_TIMESTAMP：指定数据结果中最晚的记录条目，即输出结果如果大于该时间，则停止分析，不需要继续输出；如果该参数值为空，则从START_TIMESTAMP开始的所有日志都进行分析和输出。
- START_XID：作用与START_TIMESTAMP相同，指定开始的XID值；
- STOP_XID：作用与STOP_TIMESTAMP相同，指定结束的XID值 两组参数只能有一组为有效输入，否则报错。
7. 解析结果查看
select * from walminer_contents;
select timestamptz,record_user,op_type,op_text,op_undo from walminer_contents where timestamptz >= "2020-05-12 14:10:00"::timestamp and timestamptz <= "2020-05-12 14:20:00"::timestamp and op_type="DELETE";
timestamptz | record_user | op_type | op_text | op_undo
-------------------------------+-------------+---------+--------------------------------------------------------------------------------------------+------------------------------------------------------------
---------------------------------
2020-05-12 14:14:49.189156+08 | highgo | DELETE | DELETE FROM "public"."test_t" WHERE "id"=1 AND "name"="4e4ff1685131a4cdc6643b523620e10f"; | INSERT INTO "public"."test_t"("id", "name") VALUES(1, "4e4f
f1685131a4cdc6643b523620e10f");
2020-05-12 14:14:49.189156+08 | highgo | DELETE | DELETE FROM "public"."test_t" WHERE "id"=2 AND "name"="126ce4b149a49d1a68f6c2a0af4b2bdd"; | INSERT INTO "public"."test_t"("id", "name") VALUES(2, "126c
e4b149a49d1a68f6c2a0af4b2bdd");
2020-05-12 14:14:49.189156+08 | highgo | DELETE | DELETE FROM "public"."test_t" WHERE "id"=3 AND "name"="dc65893ca95dee5e6547854d3fd4f505"; | INSERT INTO "public"."test_t"("id", "name") VALUES(3, "dc65
893ca95dee5e6547854d3fd4f505");
2020-05-12 14:14:49.189156+08 | highgo | DELETE | DELETE FROM "public"."test_t" WHERE "id"=4 AND "name"="f04daec7b38fe12ced141b1c6a01346a"; | INSERT INTO "public"."test_t"("id", "name") VALUES(4, "f04d
aec7b38fe12ced141b1c6a01346a");
2020-05-12 14:14:49.189156+08 | highgo | DELETE | DELETE FROM "public"."test_t" WHERE "id"=5 AND "name"="05bba4c686505ec88bd65ddc8ff42498"; | INSERT INTO "public"."test_t"("id", "name") VALUES(5, "05bb
a4c686505ec88bd65ddc8ff42498");
2020-05-12 14:14:49.189156+08 | highgo | DELETE | DELETE FROM "public"."test_t" WHERE "id"=6 AND "name"="a8fa80d0188d37629e057aa6a52fe8d8"; | INSERT INTO "public"."test_t"("id", "name") VALUES(6, "a8fa
80d0188d37629e057aa6a52fe8d8");
......
8.结束walminer操作
该函数作用为释放内存，结束日志分析，该函数没有参数。
select walminer_stop();
:warning: 注意：walminer_contents是walminer自动生成的临时表，因此当session断开再重新进入或其他session中解析数据不可见。这么做主要是基于安全考虑。 如果希望保留解析结果，可利用create xxx as select * from walminer_contents;写入普通表中。
- 本版本只解析DML语句，不处理DDL语句
- 执行了删除表、truncate表、更改表的表空间、更改表字段的类型、vacuum full，这样的DDL语句后，发生DDL语句之前的此表相关的DML语句不会再被解析。
- 解析结果依赖于数据字典。（举例：创建表t1,所有者为user1，但是中间将所有者改为user2。那解析结果中，所有t1相关操作所有者都将标示为user2）
- wal日志如果发生缺失，在缺失的wal日志中发生提交的数据，都不会在解析结果中出现
- 解析结果中undo字段的ctid属性是发生变更“当时”的值，如果因为vacuum等操作导致ctid发生变更，这个值将不准确。对于有可能存在重复行的数据，我们需要通过这个值确定undo对应的tuple条数，不代表可以直接执行该undo语句。
- 执行了表字段drop的DDL语句后,发生DDL语句之前的这个字段相关的值都会被解析为encode（"AD976BC56F"，hex）的形式，另外自定义类型也会解析为这种形式
- 只能解析与数据字典时间线一致的wal文件
- 不建议使用walminer解析大宗copy语句（在同一个事务中插入大量数据行）产生的wal日志,这会导致解析过程中的效率低下和内存占用过高
