文章详情

登录

短信预约-IT技能 免费直播动态提醒

选择考试省份

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团

请输入下面的图形验证码

提交验证

短信预约提醒成功

Mongodb分片原理详解及架构部署

2024-04-02 19:55

关注

分片技术解决的需求痛点

（1）高数据量和吞吐量的数据库应用会对单机的性能造成较大压力；

（2）大的查询量会将单机的CPU耗尽；

（3）大的数据量对单机的存储压力较大，最终会耗尽系统的内存而将压力转移到键盘IO上

何为分片？

MongoDB分片技术是使用多个服务器存储数据的方法，以支持巨大的数据存储和对数据的操作。当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。

MongoDB分片结构

下图展示了MongoDB分片集群结构组成分布：

Mongodb分片原理详解及架构部署

上图中主要有如下所述三个主要组件：

 用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障

 mongod实例，存储了整个 分片群集的配置信息，其中包括 chunk信息。

 客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用

MongoDB分片优势：

比如，当插入一条数据时，应用只需要访问存储这条数据的分片

当MongoDB单点数据库服务器存储和性能成为瓶颈，或者需要部署大型应用以充分利用内存时，可以使用分片技术

分片群集简单部署：

下面介绍如何在一台CentOS7系统的物理服务器上部署一个简单结构的MongoDB分片集群 。

  • 1台路由实例（端口 27017）

  • 1台配置实例（端口 37017）

  • 2台分片实例（端口 47017， 47018）

本次实验使用手工编译安装mongodb，

百度网盘免费提供安装包：

https://pan.baidu.com/s/1bZXJDBrn9qxBF6r6IF_aLQ

具体步骤如下：

yum install openssl-devel -y

tar zxvf mongodb-linux-x86_64-3.2.1.tgz -C /opt/

mv mongodb-linux-x86_64-3.2.1/ /usr/local/mongodb

mkdir -p /data/mongodb/mongodb{1,2,3,4}

 

mkdir /data/logs

touch /data/logs/mongodb{1,2,3,4}.log

chmod -R 777 /data/logs/*.log

ulimit -n 25000  #最大文件 数

ulimit -u 25000  #最大进程数

sysctl -w vm.zone_reclaim_mode=0             #永久设置
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

ln -s /usr/local/mongodb/bin/*  /usr/bin/           #方便服务管理

部署配置服务器

vim mongodb1.conf

port=37017      #指定服务端口
dbpath=/data/mongodb/mongodb1    #数据存储目录
logpath=/data/logs/mongodb1.log        #日志文件
logappend=true           #使用追加方式写日志
fork=true                       #后台运行
maxConns=5000               #设定最大同时连接数，默认为2000
storageEngine=mmapv1        #指定存储引擎为内存映射文件
configsvr=true        #配置服务

[root@localhost bin]# mongod -f mongodb1.conf          #启动配置服务器
about to fork child process, waiting until server is ready for connections.
forked process: 12594
child process started successfully, parent exiting
[root@localhost bin]# mongo --port 37017          #进入服务
MongoDB shell version: 3.2.1
connecting to: 127.0.0.1:37017/test
Server has startup warnings:
2018-09-15T04:39:24.967+0800 I STORAGE  [initandlisten]
2018-09-15T04:39:24.967+0800 I STORAGE  [initandlisten] ** WARNING: Readahead for /data/mongodb1 is set to 4096KB
2018-09-15T04:39:24.967+0800 I STORAGE  [initandlisten] **          We suggest setting it to 256KB (512 sectors) or less
2018-09-15T04:39:24.967+0800 I STORAGE  [initandlisten] **          http://dochub.mongodb.org/core/readahead
2018-09-15T04:39:25.828+0800 I CONTROL  [initandlisten] ** WARNING: You are running this process as the root user, which is not recommended.
2018-09-15T04:39:25.828+0800 I CONTROL  [initandlisten]
2018-09-15T04:39:25.829+0800 I CONTROL  [initandlisten]
2018-09-15T04:39:25.829+0800 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2018-09-15T04:39:25.829+0800 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-09-15T04:39:25.829+0800 I CONTROL  [initandlisten]
2018-09-15T04:39:25.829+0800 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
2018-09-15T04:39:25.829+0800 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-09-15T04:39:25.829+0800 I CONTROL  [initandlisten]
configsvr>

部署分片服务器

vim mongodb2.conf

port=47017
dbpath=/data/mongodb/mongodb2
logpath=/data/logs/mongodb2.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true

vim mongodb3.conf

port=47018
dbpath=/data/mongodb/mongodb3
logpath=/data/logs/mongodb3.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true

[root@localhost bin]# mongod -f mongodb2.conf
about to fork child process, waiting until server is ready for connections.
forked process: 12810
child process started successfully, parent exiting
[root@localhost bin]# mongod -f mongodb3.conf
about to fork child process, waiting until server is ready for connections.
forked process: 12825
child process started successfully, parent exiting

启动路由服务器

[root@localhost bin]# ./mongos --port 27017 --fork --logpath=/usr/local/mongodb/bin/route.log --configdb 192.168.30.55:37017 --chunkSize 1
2018-09-15T05:03:06.217+0800 W SHARDING [main] Running a sharded cluster with fewer than 3 config servers should only be done for testing purposes and is not recommended for production.
about to fork child process, waiting until server is ready for connections.
forked process: 12934
child process started successfully, parent exiting

启用分片服务器

[root@localhost bin]# mongo            #进入路由实例
MongoDB shell version: 3.2.1
connecting to: test
Server has startup warnings:
2018-09-15T16:00:19.746+0800 I CONTROL  [main] ** WARNING: You are running this process as the root user, which is not recommended.
2018-09-15T16:00:19.746+0800 I CONTROL  [main]
mongos> sh.status()
--- Sharding Status ---
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("5b9cbc14b4c77895df796bac")
}
  shards:                        #shards下为空，没有分片服务器
  active mongoses:
    "3.2.1" : 1
  balancer:
    Currently enabled:  yes
    Currently running:  no
    Failed balancer rounds in last 5 attempts:  0
    Migration Results for the last 24 hours:
        No recent migrations
  databases:

mongos> sh.addShard("192.168.30.55:47017")
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos> sh.addShard("192.168.30.55:47018")
{ "shardAdded" : "shard0001", "ok" : 1 }


mongos> sh.status()
--- Sharding Status ---
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("5b9cbc14b4c77895df796bac")
}
  shards:
    {  "_id" : "shard0000",  "host" : "192.168.30.55:47017" }
    {  "_id" : "shard0001",  "host" : "192.168.30.55:47018" }
  active mongoses:
    "3.2.1" : 1
  balancer:
    Currently enabled:  yes
    Currently running:  no
    Failed balancer rounds in last 5 attempts:  0
    Migration Results for the last 24 hours:
        No recent migrations
  databases:

实现分片功能

mongos> show dbs
config  0.031GB
mongos> use school          #进入并创建数据库school
switched to db school
mongos> for (var i=1;i<=50000;i++)db.info.insert({"id":i,"name":"tom"+i})           #创建集合info，并使用循环插入50000条数据

WriteResult({ "nInserted" : 1 })

mongos> sh.enableSharding("school")           
{ "ok" : 1 }

mongos> db.info.createIndex({"id":1})
{
    "raw" : {
        "192.168.30.55:47017" : {
            "createdCollectionAutomatically" : false,
            "numIndexesBefore" : 1,
            "numIndexesAfter" : 2,
            "ok" : 1
        }
    },
    "ok" : 1
}

mongos> sh.shardCollection("school.info",{"id":1})
{ "collectionsharded" : "school.info", "ok" : 1 }


mongos> sh.status()
--- Sharding Status ---
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("5b9cbc14b4c77895df796bac")
}
  shards:                             
    {  "_id" : "shard0000",  "host" : "192.168.30.55:47017" }              #两个分片服务器信息
    {  "_id" : "shard0001",  "host" : "192.168.30.55:47018" }
  active mongoses:
    "3.2.1" : 1
  balancer:
    Currently enabled:  yes
    Currently running:  no
    Failed balancer rounds in last 5 attempts:  0
    Migration Results for the last 24 hours:
        5 : Success
  databases:
    {  "_id" : "school",  "primary" : "shard0000",  "partitioned" : true }             #数据库school的分片信息
        school.info
            shard key: { "id" : 1 }
            unique: false
            balancing: true
            chunks:                               #可以看到chunks均匀分布到两个分片上
                shard0000    6
                shard0001    5
            { "id" : { "$minKey" : 1 } } -->> { "id" : 4682 } on : shard0001 Timestamp(2, 0)
            { "id" : 4682 } -->> { "id" : 9364 } on : shard0001 Timestamp(3, 0)
            { "id" : 9364 } -->> { "id" : 14046 } on : shard0001 Timestamp(4, 0)
            { "id" : 14046 } -->> { "id" : 18728 } on : shard0001 Timestamp(5, 0)
            { "id" : 18728 } -->> { "id" : 23410 } on : shard0001 Timestamp(6, 0)
            { "id" : 23410 } -->> { "id" : 28092 } on : shard0000 Timestamp(6, 1)
            { "id" : 28092 } -->> { "id" : 32774 } on : shard0000 Timestamp(1, 6)
            { "id" : 32774 } -->> { "id" : 37456 } on : shard0000 Timestamp(1, 7)
            { "id" : 37456 } -->> { "id" : 42138 } on : shard0000 Timestamp(1, 8)
            { "id" : 42138 } -->> { "id" : 46820 } on : shard0000 Timestamp(1, 9)
            { "id" : 46820 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 10)

mongos> sh.addShardTag("shard0000","abc01")
mongos> sh.addShardTag("shard0001","abc02")

mongos> sh.status()
--- Sharding Status ---
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("5b9cbc14b4c77895df796bac")
}
  shards:
    {  "_id" : "shard0000",  "host" : "192.168.30.55:47017",  "tags" : [ "abc01" ] }
    {  "_id" : "shard0001",  "host" : "192.168.30.55:47018",  "tags" : [ "abc02" ] }

 

MongoDB分片服务器管理

[root@localhost bin]# cp mongodb3.conf mongodb4.conf
[root@localhost bin]# vim mongodb4.conf

port=47019
logpath=/data/logs/mongodb4.log
dbpath=/data/mongodb4
fork=true
logappend=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true


[root@localhost bin]# mongod -f mongodb4.conf
about to fork child process, waiting until server is ready for connections.
forked process: 52634
child process started successfully, parent exiting
[root@localhost bin]# mongo
MongoDB shell version: 3.2.1
connecting to: test
Server has startup warnings:
2018-09-15T16:00:19.746+0800 I CONTROL  [main] ** WARNING: You are running this process as the root user, which is not recommended.
2018-09-15T16:00:19.746+0800 I CONTROL  [main]


mongos> sh.addShard("192.168.30.55:47019")          #添加分片服务器
{ "shardAdded" : "shard0002", "ok" : 1 }
mongos> sh.status()                   #查看分片服务信息
--- Sharding Status ---
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("5b9cbc14b4c77895df796bac")
}
  shards:
    {  "_id" : "shard0000",  "host" : "192.168.30.55:47017" }
    {  "_id" : "shard0001",  "host" : "192.168.30.55:47018" }
   {  "_id" : "shard0002",  "host" : "192.168.30.55:47019" }
  active mongoses:
    "3.2.1" : 1
  balancer:
    Currently enabled:  yes
    Currently running:  no
    Failed balancer rounds in last 5 attempts:  0
    Migration Results for the last 24 hours:
        8 : Success
  databases:
    {  "_id" : "school",  "primary" : "shard0000",  "partitioned" : true }
        school.info
            shard key: { "id" : 1 }
            unique: false
            balancing: true
            chunks:
                shard0000    4
                shard0001    4
                shard0002    3
            { "id" : { "$minKey" : 1 } } -->> { "id" : 4682 } on : shard0002 Timestamp(9, 0)
            { "id" : 4682 } -->> { "id" : 9364 } on : shard0001 Timestamp(9, 1)
            { "id" : 9364 } -->> { "id" : 14046 } on : shard0001 Timestamp(4, 0)
            { "id" : 14046 } -->> { "id" : 18728 } on : shard0001 Timestamp(5, 0)
            { "id" : 18728 } -->> { "id" : 23410 } on : shard0001 Timestamp(6, 0)
            { "id" : 23410 } -->> { "id" : 28092 } on : shard0002 Timestamp(7, 0)
            { "id" : 28092 } -->> { "id" : 32774 } on : shard0002 Timestamp(8, 0)
            { "id" : 32774 } -->> { "id" : 37456 } on : shard0000 Timestamp(8, 1)
            { "id" : 37456 } -->> { "id" : 42138 } on : shard0000 Timestamp(1, 8)
            { "id" : 42138 } -->> { "id" : 46820 } on : shard0000 Timestamp(1, 9)
            { "id" : 46820 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 10)

mongos> use admin           # 注：在admin db下执行命令。
switched to db admin
mongos> db.runCommand({"removeshard":"192.168.30.55:47019"})
{
    "msg" : "draining started successfully",
    "state" : "started",
    "shard" : "shard0002",
    "note" : "you need to drop or movePrimary these databases",
    "dbsToMove" : [ ],
    "ok" : 1
}
mongos> db.runCommand({"removeshard":"192.168.30.55:47019"})
{
    "msg" : "removeshard completed successfully",
    "state" : "completed",
    "shard" : "shard0002",
    "ok" : 1
}

“注意：该命令至少执行两次才能成功删除，执行到state为completed才真正删除，否则就是没有删除成功，该分片处于"draining" : true状态，该状态下不但该分片没有删除成功，而且还影响接下来删除其他分片操作，遇到该状态再执行一次removeshard即可，最好就是删除分片时一直重复执行删除命令，直到state为completed


mongos> sh.status()
--- Sharding Status ---
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("5b9cbc14b4c77895df796bac")
}
  shards:
    {  "_id" : "shard0000",  "host" : "192.168.30.55:47017" }
    {  "_id" : "shard0001",  "host" : "192.168.30.55:47018" }
  active mongoses:
    "3.2.1" : 1
  balancer:
    Currently enabled:  yes
    Currently running:  no
    Failed balancer rounds in last 5 attempts:  0
    Migration Results for the last 24 hours:
        11 : Success
  databases:
    {  "_id" : "school",  "primary" : "shard0000",  "partitioned" : true }
        school.info
            shard key: { "id" : 1 }
            unique: false
            balancing: true
            chunks:
                shard0000    6
                shard0001    5
            { "id" : { "$minKey" : 1 } } -->> { "id" : 4682 } on : shard0000 Timestamp(10, 0)
            { "id" : 4682 } -->> { "id" : 9364 } on : shard0001 Timestamp(9, 1)
            { "id" : 9364 } -->> { "id" : 14046 } on : shard0001 Timestamp(4, 0)
            { "id" : 14046 } -->> { "id" : 18728 } on : shard0001 Timestamp(5, 0)
            { "id" : 18728 } -->> { "id" : 23410 } on : shard0001 Timestamp(6, 0)
            { "id" : 23410 } -->> { "id" : 28092 } on : shard0001 Timestamp(11, 0)
            { "id" : 28092 } -->> { "id" : 32774 } on : shard0000 Timestamp(12, 0)
            { "id" : 32774 } -->> { "id" : 37456 } on : shard0000 Timestamp(8, 1)
            { "id" : 37456 } -->> { "id" : 42138 } on : shard0000 Timestamp(1, 8)
            { "id" : 42138 } -->> { "id" : 46820 } on : shard0000 Timestamp(1, 9)
            { "id" : 46820 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 10)

连接配置服务器查看信息

mongo --port 37017

configsvr> use config

configsvr> show collections  

....
collections
chunks
databases   
....

configsvr> db.chunks.findOne()

configsvr> db.collections.find()

configsvr> db.databases.find()

阅读原文内容投诉

免责声明：

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题

  • 2024年上半年信息系统项目管理师第二批次真题及答案解析（完整版）

    难度     813人已做
    查看

  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看

  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看

  • 2024年上半年软考高项第一、二批次真题考点汇总（完整版）

    难度     435人已做
    查看

  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机

Mongodb分片原理详解及架构部署

数据库2024-04-02

MongoDB分片集群部署详解

数据库2024-04-02

MongoDB复制集集群原理详解及部署

数据库MongoDB复制集2024-12-24

如何理解Tungsten Fabric架构以及vRouter的部署选项

数据库2023-06-03

详解Java的类加载机制及热部署的原理

数据库2024-04-02

详解Linux系统CPU的内部架构和工作原理

数据库LinuxCPU2024-12-24

详解虚拟化之KVM概念、架构、功能、常用工具及部署

数据库KVM架构2024-12-24

10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解

数据库Hadoop框架2024-12-24

高性能MySQL主从架构的复制原理及配置详解

数据库MySQL数据库2024-12-03

Solr搜索引擎的核心架构及工作原理详解（Solr搜索引擎的内部结构和工作机制是怎样的？）

Solr搜索引擎的核心架构及工作原理详解（Solr搜索引擎的内部结构和工作机制是怎样的？）
数据库2024-04-02

Android架构师之动态换肤实现原理详解(从源码分析层层深入)

数据库Android动态2024-12-02

Sphinx全文搜索引擎的架构与工作原理详解（Sphinx搜索引擎的内部结构和工作机制是怎样的？）

Sphinx全文搜索引擎的架构与工作原理详解（Sphinx搜索引擎的内部结构和工作机制是怎样的？）
数据库2024-04-02
位置：首页-资讯-数据库
咦！没有更多了？去看看其它编程学习网 内容吧
首页课程
资料下载问答资讯