MongoDB基础

一、概述

1.1 MongoDB概念

MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。在nosql数据库里，大部分的查询都是键值对（key、value）的方式。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中最像关系数据库的。其特征NoSQL、文档存储、Json数据模型、支持事务。

1.2 NoSQL概念

NoSQL，指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称。

NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

1.3 NoSQL的特征

高扩展性：Nosql去掉了关系数据库的关系型特性，易于横向扩展。

高性能：Nosql通过简单的key-value方式获取数据，非常快速。还有NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多。

灵活的数据模型：相对于关系数据库里，增删字段的繁琐，NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。

高可用：NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如mongodb通过mongos、config server replica set，shard就可以快速配置出高可用配置。

1.4 NoSQL分类

1.5 MongoDB概念解析

在mongodb中基本的概念是文档、集合、数据库，对应与关系型数据库如下表：

数据库：一个MongoDB 实例可以承载多个数据库。它们之间可以看作相互独立，每个数据库都有独立的权限控制。在磁盘上，不同的数据库存放在不同的文件中。MongoDB 中存在以下系统数据库。

• Admin 数据库：一个权限数据库，如果创建用户的时候将该用户添加到admin 数据库中，那么该用户就自动继承了所有数据库的权限。

• Local 数据库：这个数据库永远不会被负责，可以用来存储本地单台服务器的任意集合。

• Config 数据库：当MongoDB 使用分片模式时，config 数据库在内部使用，用于保存分片的信息。

集合：集合就是一组文档，类似于关系数据库中的表。集合是无模式的，集合中的文档可以是各式各样的。在MongoDB中集合用collections表示，每个

collection用一个名字标识，需要注意以下几点：

• 名字不允许是空字符串""

• 名字不能包含\0字符，因为它表示名字的结束

• 不能创建以system.开头的

文档：文档是 MongoDB 中数据的基本单位，类似于关系数据库中的行（但是比行复杂）。多个键及其关联的值有序地放在一起就构成了文档。

• 文档中的键/值对是有序的。

• 文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚至可以是整个嵌入的文档)。

• MongoDB区分类型和大小写。

• MongoDB的文档不能有重复的键。

• 文档的键是字符串。除了少数例外情况，键可以使用任意UTF-8字符。

二、安装部署

2.1 配置yum安装

配置mongodb的yum源进行安装

cat >/etc/yum.repos.d/mongodb.repo<<EOF
[mongodb]
name=MongoDB Repository
baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/
gpgcheck=0
enabled=1
EOF

yum clean all && yum makecache
yum install -y mongo-10gen mongo-10gen-server

2.2 下载安装包安装

cd /usr/local/
wget -c https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.10.tgz            #下载软件包
tar -zxvf mongodb-linux-x86_64-rhel62-3.4.10.tgz
ln -sv mongodb-linux-x86_64-rhel62-3.4.10 mongodb
mkdir /usr/local/mongodb/{conf,mongoData,mongoLog}                           #创建数据，日志，配置文件目录
touch /usr/local/mongodb/mongoLog/mongodb.log                              #创建日志文件
echo "export PATH=\$PATH:/usr/local/mongodb/bin">/etc/profile.d/mongodb.sh                        
source /etc/profile.d/mongodb.sh                                     #配置环境变量

命令行启动：

mongod --httpinterface --dbpath /usr/local/mongodb/mongoData --logpath /usr/local/mongodb/mongoLog/mongodb.log --fork

将启动的各项参数写入配置文件启动

cat>/usr/local/mongodb/conf/mongodb.conf<<EOF
dbpath=/usr/local/mongodb/mongoData                    #数据存储目录
logpath=/usr/local/mongodb/mongoLog/mongodb.log                    #日志文件
logappend=true                                      # 使用追加的方式写日志
journal=true                    
quiet=true        
port=27017                                        #端口
maxConns=20000                                      #最大连接数
httpinterface=true                                    #开启web界面端口为：28017      
fork=true                                        #以守护进程的方式运行MongoDB
EOF

mongod -f /usr/local/mongodb/conf/mongodb.conf                          #指定配置文件启动

2.3 mongod配置参数详解

 * Replicaton 参数

 * 主/从参数

 * Replica set(副本集)选项：

 * Sharding(分片)选项

三、基础操作

3.1 数据库操作

a.创建数据库

MongoDB 创建数据库的语法格式如下：

use DATABASE_NAME            #如果数据库不存在，则创建数据库，否则切换到指定数据库。

use dbtest;
> db
dbtest

> show dbs;        #查看数据库
admin   0.000GB
dbtest  0.000GB
local   0.000GB

b.删除数据库

MongoDB 删除数据库的语法格式如下：

db.dropDatabase()

> use dbtest;
switched to db dbtest
> db.dropDatabase()
{ "dropped" : "dbtest", "ok" : 1 }
> show dbs;
admin  0.000GB
local  0.000GB

3.2 集合操作

a.创建集合

db.createCollection(name,options)

db.createCollection("user",autoindexID=true)

• capped：类型为 Boolean，如果为 true 则创建一个固定大小的集合，当其条目达到最大时可以自动覆盖以前的条目。在设置其为 true 时也要指定参数大小；

• autoIndexID：类型为 Boolean，默认为 false，如果设置为 true，则会在 _id field.s 上自动创建索引；

• size：如果 capped 为 true 需要指定，指定参数的最大值，单位为 byte；

• max：指定最大的文档数。 在 Mongodb 中也可以不用创建集合，因为在创建文档的时候也会自动的创建集合。

> db.createCollection("user",autoindexID=true)        #创建集合user
{ "ok" : 1 }
> show collections;                                    #查看集合
user

b.删除集合

db.collection.drop()

> show collections;
user
> db.user.drop()
true
> show collections

3.3 文档操作

a.插入文档

MongoDB 使用 insert() 或 save() 方法向集合中插入文档

db.COLLECTION_NAME.insert(document)

> db.user.insert({name:"kaliarch",age:30})            #insert 插入文档
WriteResult({ "nInserted" : 1 })
> db.user.insert({name:"xuel",age:31})        
WriteResult({ "nInserted" : 1 })        
> db.user.save({name:"anchnet",age:34})                #save插入文档
WriteResult({ "nInserted" : 1 })        
> db.user.find()                                        #查看文档
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a870cceffdd1c65f633ef"), "name" : "xuel", "age" : 31 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }

• db.collection.insertOne():向指定集合中插入一条文档数据

• db.collection.insertMany():向指定集合中插入多条文档数据

b.更新文档

MongoDB 使用 update() 和 save() 方法来更新集合中的文档

--------------------------------------update方式-----------------------------------------

update()方式
db.collection.update(
   <query>,
   <update>,
   {
     upsert: <boolean>,
     multi: <boolean>,
     writeConcern: <document>
   })

参数说明：

• query : update的查询条件，类似sql update查询内where后面的。

• update : update的对象和一些更新的操作符（如$,$inc...）等，也可以理解为sql update查询内set后面的

• upsert  : 可选，这个参数的意思是，如果不存在update的记录，是否插入objNew,true为插入，默认是false，不插入。

• multi  : 可选，mongodb 默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新。

• writeConcern  :可选，抛出异常的级别。

> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a870cceffdd1c65f633ef"), "name" : "xuel", "age" : 31 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
> db.user.update({"name":"xuel"},{$set:{"name":"udxuel"}})                                    #更新name
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a870cceffdd1c65f633ef"), "name" : "udxuel", "age" : 31 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }

-----------------------------------------save方式--------------------------------------

save()方式
db.collection.save(
   <document>,
   {
     writeConcern: <document>
   })

参数说明：

• document : 文档数据。

• writeConcern  :可选，抛出异常的级别。

> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a870cceffdd1c65f633ef"), "name" : "udxuel", "age" : 31 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
> db.user.save({ "_id" : ObjectId("5a1a870cceffdd1c65f633ef"), "name" : "xuel", "age" : 31 })            #更新name
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a870cceffdd1c65f633ef"), "name" : "xuel", "age" : 31 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }

c.删除文档

remove() 方法的基本语法格式如下：

db.collection.remove(
   <query>,
   {
     justOne: <boolean>,
     writeConcern: <document>
   })

参数说明：

• query :（可选）删除的文档的条件。

• justOne : （可选）如果设为 true 或 1，则只删除一个文档。

• writeConcern  :（可选）抛出异常的级别。

> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a870cceffdd1c65f633ef"), "name" : "xuel", "age" : 31 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
> db.user.remove({"name":"xuel","age":31})                            #删除文档
WriteResult({ "nRemoved" : 1 })
> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }

d.查看文档

db.collection.find(query, projection)

• query ：可选，使用查询操作符指定查询条件

• projection ：可选，使用投影操作符指定返回的键。查询时返回文档中所有键值， 只需省略该参数即可（默认省略）。

可以使用 pretty() 方法，语法格式如下：

> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
> db.user.find().pretty()
{
    "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"),
    "name" : "kaliarch",
    "age" : 30
}
{
    "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"),
    "name" : "anchnet",
    "age" : 34
}

3.4 条件操作符

条件操作符用于比较两个表达式并从mongoDB集合中获取数据

• (>) 大于 - $gt

• (<) 小于 - $lt

• (>=) 大于等于 - $gte

• (<= ) 小于等于 - $lte

• (=)等于- $eq

• (!=)不等于-$ne

> db.user.find()
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
{ "_id" : ObjectId("5a1a8ddeceffdd1c65f633f1"), "name" : "test", "age" : 50 }
> db.user.find({"age":{$gt:33}})                             #查询age大于33的文档
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
{ "_id" : ObjectId("5a1a8ddeceffdd1c65f633f1"), "name" : "test", "age" : 50 }
> db.user.find({"age":{$lt:33}})                             #查询age小于33的文档
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
> db.user.find({"age":{$eq:34}})                              #查询age等于33的文档
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
> db.user.find({"age":{$ne:10}})                              、#查询age不等于10的文档
{ "_id" : ObjectId("5a1a8704ceffdd1c65f633ee"), "name" : "kaliarch", "age" : 30 }
{ "_id" : ObjectId("5a1a8729ceffdd1c65f633f0"), "name" : "anchnet", "age" : 34 }
{ "_id" : ObjectId("5a1a8ddeceffdd1c65f633f1"), "name" : "test", "age" : 50

3.5 创建索引

索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。

这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。

索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行排序的一种结构

MongoDB使用 ensureIndex() 方法来创建索引。

>db.COLLECTION_NAME.ensureIndex({KEY:1})

语法中 Key 值为你要创建的索引字段，1为指定按升序创建索引，如果你想按降序来创建索引指定为-1即可。

ensureIndex() 方法中你也可以设置使用多个字段创建索引（关系型数据库中称作复合索引）。

db.mycol.ensureIndex({"title":1,"description":-1})

3.6 备份恢复

a.mongodb数据备份

mongodump命令脚本语法如下：

mongodump -h dbhost -d dbname -o dbdirectory

• -h：

  MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017

• -d：

  需要备份的数据库实例，例如：test

• -o：

  备份的数据存放位置，例如：c:\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在dump目录下建立一个test目录，这个目录里面存放该数据库实例的备份数据。

b.mongodb数据恢复

mongorestore命令脚本语法如下：

>mongorestore -h <hostname><:port> -d dbname <path>

• --host <:port>, -h <:port>：

  MongoDB所在服务器地址，默认为： localhost:27017

• --db , -d ：

  需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2

• --drop：

  恢复的时候，先删除当前数据，然后恢复备份的数据。就是说，恢复后，备份后添加修改的数据都会被删除，慎用哦！

• <path>：

  mongorestore 最后的一个参数，设置备份数据所在位置，例如：/tmp/testdb

  你不能同时指定 <path> 和 --dir 选项，--dir也可以设置备份目录。

• --dir：

  指定备份的目录

  你不能同时指定 <path> 和 --dir 选项。

此时查看数据已经正常恢复。

3.7 密码权限

为mongodb设置密码，需要进行auth启动，在配置文件添加auth=true

a.设置数据库管理员

> use admin
switched to db admin
> db.createUser({user:"root",pwd:"mongopwd",roles:["userAdminAnyDatabase"]})                #创建用户密码，并设置权限
Successfully added user: { "user" : "root", "roles" : [ "userAdminAnyDatabase" ] }
> db.auth("root","mongopwd")                            #认证，返回1为认证成功
1

认证通过进入数据库db.auth 也可以在登录的时候直接指定用户名密码登录

mongo -u root -p mongopwd --authenticationDatabase admin

b.创建数据库用户

> use test
switched to db test
> db
test
>  db.createUser({user:"testuser",pwd:"testpass",roles:["readWrite"]})
Successfully added user: { "user" : "testuser", "roles" : [ "readWrite" ] }
> db.auth("testuser","testpass")
1

四、自动备份脚本

最后写一个mongodb自动备份脚本，配合crond来定时备份数据

github地址

#!/bin/bash
#auth:xuel@anchnet.com
#backup mongodb

. /etc/profile
CMD=`which mongodump`
DATE=`date +%F`
DB="test"
DB_HOST="localhost"
DB_PORT="27017"
DB_USER="testuser"
DB_PWD="testpass"
BACKUP_DIR="/data/mongodb/"
TAR_DIR="/data/tardir/"
TAR_DIR_DATE="${TAR_DIR}${DATE}"
TAR_BAK="mongodb_bak_$DATE.tar.gz"

check_dir(){
        for DIR in ${BACKUP_DIR} ${TAR_DIR_DATE}
        do
                if [ ! -d $DIR ];then
                        mkdir -p $DIR
                fi
        done
}
backup_mongodb(){
        $CMD -h ${DB_HOST}:${DB_PORT} -u $DB_USER -p $DB_PWD -d ${DB} -o ${BACKUP_DIR}${DATE} >/dev/null
        if [ $? -eq 0 ];then
                tar -zcf ${TAR_DIR_DATE}/${TAR_BAK} ${BACKUP_DIR}${DATE} && return 0
        fi
}
clean_tar() {
        find ${TAR_DIR} -mtime +7 -exec rm -rf {} \; && return 0
}

main() {
        check_dir
        [ $? -eq 0 ] && backup_mongodb
        [ $? -eq 0 ] && clean_tar
}

main