文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

PostgreSQL pg_rewind原理

2024-04-02 19:55

关注

一、背景
常见的高可用架构中,如果master挂了且有数据没有同步到备,高可用系统会提升备为主对外服务。对于老主有可能再以备的身份加入集群时,可能搭建流复制关系失败。可以用pg_rewind工具使主备的数据一致。

二、pg_rewind原理
PostgreSQL pg_rewind原理
三、相关代码

1、每个文件(目录)的差异被记录在结构体 file_entry_t 中,其定义如下
typedef struct file_entry_t
{
    char       *path;
    file_type_t type;
    file_action_t action;

    
    size_t  oldsize;
    size_t  newsize;
    Bool    isrelfile;      
    

    datapagemap_t pagemap;

    
    char       *link_target;

    struct file_entry_t *next;
} file_entry_t;
2、文件类型
typedef enum
{
    FILE_TYPE_REGULAR,//常规文件
    FILE_TYPE_DIRECTORY,//目录
    FILE_TYPE_SYMLINK//软连接
} file_type_t;
3、对应文件的操作action
typedef enum
{
    FILE_ACTION_CREATE,         
    FILE_ACTION_COPY,           
    FILE_ACTION_COPY_TAIL,      
    FILE_ACTION_NONE,           
    FILE_ACTION_TRUNCATE,       
    FILE_ACTION_REMOVE          
} file_action_t;
4、其他变量解读
isrefile 表示该文件是否是一个表数据文件,表数据文件的路径要满足以下几个条件:
isRelDataFile(path):
    global/ 目录下的文件,即数据库共享的表文件目录下的文件
    base/ 目录下的文件,即默认tablespace的表文件目录下的文件
    pg_tblspc/&rnode.spcNode/TABLESPACE_VERSION_DIRECTORY/目录下的文件,即其他tablespace 的表文件目录下的文件,其中PG_9.4_201403261 与版本相关
    文件名符合的格式
pagemap (怎么用?extractPageInfo)存储了一个bitmap,每一位存储了对应的目的集群文件中的每个page 从两个集群的分叉点之后是否发生了变化,1代表发生变化,0代表未变化。
oldsize 代表目的集群该文件的大小,newsize 代表源集群该文件的大小。pg_rewind 中通过源集群和目的集群的对应文件大小比较或者文件(目录)是否存在,指定文件的处理action,例如:
    oldsize > newsize: action=FILE_ACTION_TRUNCATE
    oldsize < newsize: action=FILE_ACTION_COPY_TAIL
    如果文件不存在,则action=FILE_ACTION_COPY,PG_VERSION文件除外
    如果目录不存在,则action=FILE_ACTION_CREATE
    如果文件多余,则action=FILE_ACTION_REMOVE
    以上动作由函数process_target_file和process_source_file一起处理。只在process_target_file设置FILE_ACTION_REMOVE
5、提取wal日志获取更改页的步骤:
extractPageInfo:
    for (block_id = 0; block_id <= record->max_block_id; block_id++){
        if (!XLogRecGetBlockTag(record, block_id, &rnode, &forknum, &blkno))
            continue;
        
        if (forknum != MAIN_FORKNUM)//MAIN_FORKNUM是什么意思?
            continue;
        process_block_change(forknum, rnode, blkno);
    }
6、pagemap中的bitmap
pg_rewind 工具执行需要打开full_page_writes,而打开了full_page_writes 之后,checkpoint 后每个数据页的第一次修改对应的数据页的全部内容都会写在WAL日志记录中,所以pg_rewind 可以根据WAL 日志的组织结构很容易的找到对应已经修改的数据页信息,并把对应的file_entry_t 的bitmap 置为1。
XLogRecGetBlockTag:XLogReaderState.blocks[XLR_MAX_BLOCK_ID + 1]
阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯