文章详情

短信预约信息系统项目管理师 报名、考试、查分时间动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

读者来信 | 如何判断HBase Major Compact是否执行完毕?(已解决)

2015-06-26 17:17

关注

读者来信 | 如何判断HBase Major Compact是否执行完毕?(已解决)

前言:之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。欢迎关注本人微信公众号《HBase工作笔记》,扫描文末二维码解锁更多姿势!

来信人:罗*铭

小猿提问

如何判断HBase Major Compact是否执行完毕?

小猿解答

这里提供两种查看方式:
一种是HBase WebUI 界面; 另外一种是HBase Shell命令行 。
我们下面看一下。

1. HBase WebUI

点击Web首页Compactions按钮查看每一个RS Compact完成情况;
点击ServerName进入RS Web页后点击Compaction Metrics可查看该RS上每一个Region Compact 完成情况。

2. HBase Shell

通过Shell方式查看同WebUI查看大同小异,只不过没有将这些指标可视化而已。如果有兴趣,可以自己采集这些指标做一个漂亮的监控界面~

通过命令 status "simple" 可查看HBase RS级别的一些指标,其中 compactionProgressPct=1.0 即表明RS Compact完成。如下:

hbase(main):002:0> status "simple"
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
        requestsPerSecond=211.0, 
		numberOfOnlineRegions=293, 
		usedHeapMB=4861, 
		maxHeapMB=16384, 
		numberOfStores=293, 
		numberOfStorefiles=432, 
		storefileUncompressedSizeMB=97691, 
		storefileSizeMB=35689, 
		compressionRatio=0.3653, 
		memstoreSizeMB=891, 
		storefileIndexSizeMB=0, 
		readRequestsCount=738897443, 
		writeRequestsCount=717989941, 
		rootIndexSizeKB=5413, 
		totalStaticIndexSizeKB=149724, 
		totalStaticBloomSizeKB=63325, 
		totalCompactingKVs=1389414755, 
		currentCompactedKVs=1389414755, 
		compactionProgressPct=1.0, 
		coprocessors=[HBaseSimHashSetBuildSystem, MultiRowMutationEndpoint]
    xxx.xx.xx.xx:6002 1575619966048
        ...

0 dead servers
Aggregate load: 962, regions: 1176

通过命令 status "detailed" 可查看HBase RS Region 级别的一些指标,其中 compactionProgressPct=1.0 即表明RS Compact完成。如下:

hbase(main):002:0> status "detailed"
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
		"namespace:table,20,1577443984105.518a1fbd9dd64e5956e591fa23556f48."
            numberOfStores=1, 
			numberOfStorefiles=1, 
			storefileUncompressedSizeMB=0, 
			lastMajorCompactionTimestamp=0, 
			storefileSizeMB=0, 
			memstoreSizeMB=0, 
			storefileIndexSizeMB=0, 
			readRequestsCount=0, 
			writeRequestsCount=0, 
			rootIndexSizeKB=0, 
			totalStaticIndexSizeKB=0, 
			totalStaticBloomSizeKB=0, 
			totalCompactingKVs=332285, 
			currentCompactedKVs=332285, 
			compactionProgressPct=1.0, 
			completeSequenceId=-1, 
			dataLocality=1.0
        "namespace:table,1f,1577443984105.61c4ba95dbed1eb52da78c448e2f4bbf."
            ...

0 dead servers

知识点补充

1. 计算公式

在上面的Shell命令行输出中我们还看到有两个与Compact相关的指标,分别是totalCompactingKVscurrentCompactedKVs。其实指标 compactionProgressPct 正是由二者计算得来,如下:

float compactionProgressPct = Float.NaN;
  if( this.totalCompactingKVs > 0 ) {
    compactionProgressPct = Float.valueOf(
        this.currentCompactedKVs / this.totalCompactingKVs);
  }

2. 小版本bug

可能有的朋友会发现自己家的 HBase compactionProgressPct 指标出现了大于100% 情况,或是 currentCompactedKVs>totalCompactingKVs 等情况,其实这是HBase小版本出现的一个bug,该bug在 2.0.0-beta 版本中才修复完毕。相关jira 如下:

扫描二维码关注博主公众号

转载请注明出处!欢迎关注本人微信公众号【HBase工作笔记】

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯