mongoDB3.4的sharding集群搭建及JavaAPI的简易使用
在搭建mongoDB之前，我们要考虑几个小问题：
1、我们搭建集群的目的是什么？是多备份提高容错和系统可用性还是横向拓展存储大规模数据还是两者兼有？
如果是为了多备份那么选择replication集群搭建即可，如果是为了处理大数据则需要搭建sharding集群，如果两者兼有需要对每个shardsvr创建replica。
2、什么是sharding？和replication有什么不同？
简单而言，replica是mongo提供服务的一个基本单位，单机系统和replication集群对用户来讲没有区别，都只相当于一个服务节点，只不过replication集群有多备份，还有服务端选举，安全性更加有保证。而sharding集群包含3个角色：mongos，configsvr，shardsvr，对于一个集群来说mongos相当于master，负责对外提供服务，shardsvr相当于slave，负责分片存储数据，而configsvr相当于router，负责记录分片元信息。这3种角色中的任何一个角色中的子节点都是一个replica。具体说明参考官方网站对sharding和replication的描述：
replication：https://docs.mongodb.com/manual/replication/
sharding：https://docs.mongodb.com/manual/sharding/
3、我们集群的架构又该是什么样子？
如果对问题1和2有足够的认知的话，那么根据本地硬件环境构建一个什么样的集群大致也就清楚了，每个shardsvr的replication相当于一个slave，我们需要几个子节点就需要创建多少个shardsvr，configsvr是router信息，我们可以将所有机器都组成一个configsvr的replication用以提供router服务，至于mongos，内部使用一个节点也可以，如果需要稳定运行的话也需要组一个小的mongos的replication。
第二部分
下面是实战环节：
我这可以有5台服务器用来跑mongodb还有一批数据，当然，这5台机器上也跑着其他框架如spark，hadoop等等，由于spark和hadoop都是单点故障的（什么？多master?secondary?不存在的，老夫部署集群从来都是单点故障）所以mongos也是一台节点，数据端存放在5台机器上，又由于数据量较大，硬盘较小（别人组的raid5，加一起一台服务器也就1T多空间），所以肯定不考虑备份和稳定性了（2备份硬盘就没多大地方了，hdfs还有其他数据要放），那么架构可以构建如下：
下面shardsvr每一个都是一个单独的replica，开始部署：
1、创建配置文件：
a） configsvr
systemLog: destination: file path: "/home/cloud/platform/logs/mongodb/configsvr.log" logAppend: truestorage: dbPath: "/home/cloud/platform/data/configData" journal: enabled: truesetParameter: enableLocalhostAuthBypass: falseprocessManagement: fork: truereplication: replSetName: "configsvr0"sharding: clusterRole: "configsvr"
b） shardsvr
systemLog: destination: file path: "/home/cloud/platform/logs/mongodb/shardsvr.log" logAppend: truestorage: dbPath: "/home/cloud/platform/data/shardData" journal: enabled: truesetParameter: enableLocalhostAuthBypass: falseprocessManagement: fork: truereplication: replSetName: "shardsvr1"sharding: clusterRole: "shardsvr"
c） mongos
systemLog: destination: file path: "/home/cloud/platform/logs/mongodb/mongos.log" logAppend: truenet: bindIp: 192.168.12.161 port: 27017setParameter: enableLocalhostAuthBypass: falseprocessManagement: fork: truesharding: configDB: "configsvr0/192.168.12.161:27019,192.168.12.162:27019,192.168.12.163:27019,192.168.12.164:27019,192.168.12.169:27019"
注意：每台机器上的配置都略有不同，简易参考官方文档进行修改，replSetName这个是replication的设置，每个角色的子replication应该有相同的值，不同的replication应该有不同的值
接下来是启动脚本
a）shardsvr
#!/bin/bash# use this to initiate: rs.initiate({_id:"shardsvr1",members:[{_id:0,host:"192.168.12.161:27018"}]})/home/cloud/platform/mongodb-3.4.5/bin/mongod --config /home/cloud/platform/mongodb-3.4.5/shardserver.confb）configsvr
#!/bin/bash#use this to initiate: rs.initiate({_id:"configsvr0",configsvr:true,members:[{_id:0,host:"192.168.12.161:27019"},{_id:1,host:"192.168.12.162:27019"},{_id:2,host:"192.168.12.163:27019"},{_id:3,host:"192.168.12.164:27019"},{_id:4,host:"192.168.12.169:27019"}]})MONGO_HOME=/home/cloud/platform/mongodb-3.4.5/${MONGO_HOME}/bin/mongod --config ${MONGO_HOME}/configserver.confc）mongos
#!/bin/bash#mogos dont need to initiate,#sh.enableSharding("dbname") to create database#sh.shardCollection("dbname.tablename", {id: "hashed"}) to create a shard table split by id/home/cloud/platform/mongodb-3.4.5/bin/mongos --config /home/cloud/platform/mongodb-3.4.5/mongosserver.conf2、启动过程
a、将脚本和配置文件复制到每台机器上
b、启动每个shardsvr，然后登录到shardsvr上，执行初始化过程：
1、执行start-shardsvr.sh2、执行bin/mongo --host ${hostIP} --port ${hostport} shardsvr的默认端口是27018 configsvr的默认端口是27019 mongos的默认端口是27017 在上面配置文件中未指定端口，一切都以默认为主3、执行rs.initiate({_id:"shardsvr1",members:[{_id:0,host:"192.168.12.161:27018"}]}) 进行初始化工作4、执行rs.status()查看shardsvr状态，一个成功的例子如下：
c、启动所有configsvr，并使用mongo --host --port命令登录到任意一台configsvr的configsvr端口上（default：27019）。并执行初始化工作：
rs.initiate({_id:"configsvr0",configsvr:true,members:[{_id:0,host:"192.168.12.161:27019"},{_id:1,host:"192.168.12.162:27019"},{_id:2,host:"192.168.12.163:27019"},{_id:3,host:"192.168.12.164:27019"},{_id:4,host:"192.168.12.169:27019"}]})d、启动mongos，这时已经可以在mongos上执行我们的操作了。
printShardingStatus()
然后就是正常的mongo shell操作了，可以把mongos当成一个普通的单机mongodb来使用，操作基本相同，除了创建sharding表
创建表如下：
sh.enableSharding("dbname") to create databasesh.shardCollection("dbname.tablename", {"_id": "hashed"}) to create a shard table hashed by _id需要注意的是，"_id"是mongo分片依据，不能重复，如果想以其他字段来进行hash，将命令中的"_id"改为字段名称就可以了，但是mongo还是会自动创建一个_id列用来索引
添加索引：
db.collectionname.ensureIndex({"indexColumn":1})第三部分
JavaAPI小tips
获取连接：
lazy val mongo = new MongoClient("192.168.12.161", 27017)lazy val db = mongo.getDatabase("testdb")lazy val dbColl = db.getCollection("origin2")插入数据：
var resList = new ArrayList[Document]var d = new Documentd.append("path", x.getPath)d.append("name", x.getName)d.append("content", filterHtml(Source.fromFile(x, detector(x)).getLines().toArray).mkString(""))resList.add(d)dbColl.insertMany(resList, new InsertManyOptions().ordered(false))在插入过程中，如果"_id"出现重复值，那么默认情况下会中止当前插入操作并throw一个exception，即之前的数据已经插入进去，后面的数据没插入进表，在后面加入new InsertManyOptions().ordered(false)参数就可以将所有不重复的数据插入完成后再throw一个exception
mongoDB3.4的sharding集群搭建及JavaAPI的简易使用
标签：any god shel 子节点 ble .sh slist 小问题 ash
小编还为您整理了以下内容，可能对您也有帮助：
MongoDB是什么,怎么用?看完你就知道了
MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。
（1）MongoDB提出的是文档、集合的概念，使用BSON（类JSON）作为其数据模型结构，其结构是面向对象的而不是二维表，存储一个用户在MongoDB中是这样子的。
使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。
（2）易伸缩，自动故障转移。易伸缩指的是提供了分片能力，能对数据集进行分片，数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念，MongoDB能检测主节点是否存活，当失活时能自动提升从节点为主节点，达到故障转移。
（3）数据模型因为是面向对象的，所以可以表示丰富的、有层级的数据结构，比如博客系统中能把“评论”直接怼到“文章“的文档中，而不必像myqsl一样创建三张表来描述这样的关系。
（1）文档数据类型
SQL类型的数据库是正规化的，可以通过主键或者外键的约束保证数据的完整性与唯一性，所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库，且MongoDB没有固定的Schema，正因为MongoDB少了一些这样的约束条件，可以让数据的存储数据结构更灵活，存储速度更加快。
（2）即时查询能力
MongoDB保留了关系型数据库即时查询的能力，保留了索引（底层是基于B tree）的能力。这一点汲取了关系型数据库的优点，相比于同类型的NoSQL redis 并没有上述的能力。
（3）复制能力
MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。
（4）速度与持久性
MongoDB的驱动实现一个写入语义 fire and forget ，即通过驱动调用写入时，可以立即得到返回得到成功的结果（即使是报错），这样让写入的速度更加快，当然会有一定的不安全性，完全依赖网络。
MongoDB提供了Journaling日志的概念，实际上像mysql的bin-log日志，当需要插入的时候会先往日志里面写入记录，再完成实际的数据操作，这样如果出现停电，进程突然中断的情况，可以保障数据不会错误，可以通过修复功能读取Journaling日志进行修复。
（5）数据扩展
MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。
MongoDB核心服务器主要是通过mongod程序启动的，而且在启动时不需对MongoDB使用的内存进行配置，因为其设计哲学是内存管理最好是交给操作系统，缺少内存配置是MongoDB的设计亮点，另外，还可通过mongos路由服务器使用分片功能。
MongoDB的主要客户端是可以交互的js shell 通过mongo启动，使用js shell能使用js直接与MongoDB进行交流，像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据，另外还提供了各种语言的驱动包，方便各种语言的接入。
mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。
mongoexport和mongoimport，用来导入导出JSON、CSV和TSV数据，数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入，但是在导入前顺便还要注意一下，为了能充分利用好mongoDB通常需要对数据模型做一些调整。
mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。
因此，可以总结得到，MongoDB结合键值存储和关系数据库的最好特性。因为简单，所以数据极快，而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面，且最好单独部署，因为是数据库，所以也需要对其进行热备、冷备处理。
因为本篇文章不是API手册，所有这里对shell的使用也是基础的介绍什么功能可以用什么语句，主要是为了展示使用MongoDB shell的方便性，如果需要知道具体的MongoDB shell语法可以查阅官方文档。
创建数据库并不是必须的操作，数据库与集合只有在第一次插入文档时才会被创建，与对数据的动态处理方式是一致的。简化并加速开发过程，而且有利于动态分配命名空间。如果担心数据库或集合被意外创建，可以开启严格模式。
以上的命令只是简单实例，假设如果你之前没有学习过任何数据库语法，同时开始学sql查询语法和MongoDB 查询语法，你会发现哪一个更简单呢？如果你使用的是java驱动去操作MongoDB，你会发现任何的查询都像Hibernate提供出来的查询方式一样，只要构建好一个查询条件对象，便能轻松查询（接下来会给出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成没问题，也正因为这样简洁，完善的查询机制，深深的爱上了MongoDB。
使用java驱动链接MongoDB是一件非常简单的事情，简单的引用，简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用，下面简单的展示一下使用。
这里只举例了简单的链接与简单的MongoDB操作，可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的，如果查询结果较多，恰好无法全部放进第一服务器中，将会向服务器发送一个getmore指令获取下一批查询结果。
插入数据到服务器时间，不会等待服务器的响应，驱动会假设写入是成功的，实际是使用客户端生成对象id，但是该行为可以通过配置配置，可以通过安全模式开启，安全模式可以校验服务器端插入的错误。
要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档，在键值中有指向不定类型值的键，MongoDB拥有即时查询，但不支持联结操作，简单的键值存储只能根据单个键来获取值，不支持事务，但支持多种原子更新操作。
如读写比是怎样的，需要何种查询，数据是如何更新的，会不会存在什么并发问题，数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。
在关于schema 的设计中要注意一些原则，比如：
数据库是集合的逻辑与物理分组，MongoDB没有提供创建数据库的语法，只有在插入集合时，数据库才开始建立。创建数据库后会在磁盘分配一组数据文件，所有集合、索引和数据库的其他元数据都保存在这些文件中，查阅数据库使用磁盘状态可通过。
集合是结构上或概念上相似得文档的容器，集合的名称可以包含数字、字母或 . 符号，但必须以字母或数字开头，完全。
限定集合名不能超过128个字符，实际上 . 符号在集合中很有用，能提供某种虚拟命名空间，这是一种组织上的原则，和其他集合是一视同仁的。在集合中可以使用。
其次是键值，在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式，所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会*在16m以内，因为这样可以防止创建难看的数据类型，且小文档可以提升性能，批量插入文档理想数字范围是10~200，大小不能超过16MB。
（1）索引能显著减少获取文档的所需工作量，具体的对比可以通过 .explain()方法进行对比
（2）解析查询时MongoDB通过最优计划选择一个索引进行查询，当没有最适合索引时，会先不同的使用各个索引进行查询，最终选出一个最优索引做查询
（3）如果有一个a-b的复合索引，那么仅针对a的索引是冗余的
（4）复合索引里的键的顺序是很重要的
（1）单键索引
（2）复合索引
（3）唯一性索引
（4）稀疏索引
如索引的字段会出现null的值，或是大量文档都不包含被索引的键。
如果数据集很大时，构建索引将会花费很长的时间，且会影响程序性能，可通过
当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时，可使用
对索引进行压缩，重建。
（1）查阅慢查询日志
（2）分析慢查询
注意新版本的MongoDB 的explain方法是需要参数的，不然只显示普通的信息。
本节同样主要简单呈现MongoDB副本集搭建的简易性，与副本集的强壮性，监控容易性
提供主从复制能力，热备能力，故障转移能力
实际上MongoDB对副本集的操作跟mysql主从操作是差不多的，先看一下mysql的主从数据流动过程
而MongoDB主要依赖的日志文件是oplog
写操作先被记录下来，添加到主节点的oplog里。与此同时，所有从结点复制oplog。首先，查看自己oplog里最后一条的时间戳；其次，查询主节点oplog里所有大于此时间戳的条目;最后，把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。
当遇到以下情况，从节点会停止复制
local数据库保存了所有副本集元素据和oplog日志
可以使用以下命令查看复制情况
每个副本集成员每秒钟ping一次其他所有成员，可以通过rs.status()看到节点上次的心跳检测时间戳和 健康 状况。
这个点没必要过多描述，但是有一个特殊场景，如果从节点和仲裁节点都被杀了，只剩下主节点，他会把自己降级成为从节点。
如果主节点的数据还没有写到从库，那么数据不能算提交，当该主节点变成从节点时，便会触发回滚，那些没写到从库的数据将会被删除，可以通过rollback子目录中的BSON文件恢复回滚的内容。
（1）使用单节点链接
只能链接到主节点，如果链接到从节点的话，会被拒绝写入操作，但是如果没有使用安全模式，因为mongo的fire and forget 特性，会把拒绝写入的异常给吃掉。
（2）使用副本集方式链接
能根据写入的情况自动进行故障转移，但是当副本集进行新的选举时，还是会出现故障，如果不使用安全模式，依旧会出现写不进去，但现实成功的情况。
分片是数据库切分的一个概念实现，这里也是简单总结为什么要使用分片以及分片的原理，操作。
当数据量过大，索引和工作数据集占用的内存就会越来越多，所以需要通过分片负载来解决这个问题
（1）分片组件
（2）分片的核心操作
分片一个集合：分片是根据一个属性的范围进行划分的，MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置
块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据
（3）拆分与迁移
块的拆分：初始化时只有一个块，达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二，这样就有了两个块，每个块都有相同数量的文档。
迁移：当分片中的数据大小不一时会产生迁移的动作，比如分片A的数据比较多，会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡，是由名为均衡器的软件进程管理的，任务是确保数据在各个分片中保持均匀分布，当集群中拥有块最多的分片与拥有块最少分片的块差大于8时，均衡器就会发起一次均衡处理。
启动两个副本集、三个配置服务器、一个mongos进程
配置分片
（1）分片查询类型
（2）索引
分片集合只允许在_id字段和分片键上添加唯一性索引，其他地方不行，因为这需要在分片间进行通信，实施起来很复杂。
当创建分片时，会根据分片键创建一个索引。
（1）分片键是不可修改的、分片键的选择非常重要
（2）低效的分片键
（3）理想的分片键
（1）部署拓扑
根据不同的数据中心划分
这里写图片描述
（2）最低要求
（3）配置的注意事项
需要估计集群大小，可使用以下命令对现有集合进行分片处理
（4）备份分片集群
备份分片时需要停止均衡器
（1）部署架构
使用64位机器、32位机器会制约mongodb的内存，使其最大值为1.5GB
（2）cpu
mongodb 只有当索引和工作集都可放入内存时，才会遇到CPU瓶颈，CPU在mongodb使用中的作用是用来检索数据，如果看到CPU使用饱和的情况，可以通过查询慢查询日志，排查是不是查询的问题导致的，如果是可以通过添加索引来解决问题
mongodb写入数据时会使用到CPU，但是mongodb写入时间一次只用到一个核，如果有频繁的写入行为，可以通过分片来解决这个问题
（3）内存
大内存是mongodb的保障，如果工作集大小超过内存，将会导致性能下降，因为这将会增加数据加载入内存的动作
（4）硬盘
mongodb默认每60s会与磁盘强制同步一次，称为后台刷新，会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存，高速磁盘将会减少同步的时间
（5）文件系统
使用ext4 和 xfs 文件系统
禁用最后访问时间
（6）文件描述符
linux 默认文件描述符是1024，需要大额度的提升这个额度
（7）时钟
mongodb各个节点服务器之间使用ntp服务器
（1）绑定IP
启动时使用 - -bind_ip 命令
（2）身份验证
启动时使用 - -auth 命令
（3）副本集身份认证
使用keyFile，注意keyFile文件的权限必须是600，不然会启动不起来
（1）拓扑结构
搭建副本集至少需要两个节点，其中仲裁结点不需要有自己的服务器
（2）Journaling日志
写数据时会先写入日志，而此时的数据也不是直接写入硬盘，而是写入内存
但是Journaling日志会消耗内存，所以可以在主库上面关闭，在从库上面启动
可以单独为Journaling日志使用一块固态硬盘
在插入时，可以通过驱动确保Journaling插入后再反馈，但是会非常影响性能。
logpath 选项指定日志存储地址
-vvvvv 选项（v越多，输出越详细）
db.runCommand({logrotare:1}) 开启滚动日志
（1）serverStatus
这里写图片描述
（2）top
（3）db.currentOp()
动态展示mongodb活动数据
占用当前mongodb监听端口往上1000号的端口
（1）mongomp
把数据库内容导出成BSON文件，而mongorestore能读取并还原这些文件
（2）mongorestore
把导出的BSON文件还原到数据库
（3）备份原始数据文件
可以这么做，但是，操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 请求解锁操作，但是数据库不会立刻解锁，需要使用db.currentOp()验证。
（1）修复
mongd --repair 修复所有数据库
db.runCommand({repairDatabase:1}) 修复单个数据库
修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引
（2）压紧
压紧，会重写数据文件，并重建集合的全部索引，需要停机或者在从库上面运行,如果需要在主库上面运行，需要添加force参数 保证加写锁。
（1）监控磁盘状态
（2）为提升性能检查索引和查询
总的来说，扫描尽可能少的文档。
保证没有冗余的索引，冗余的索引会占用磁盘空间、消耗更多的内存，在每次写入时还需做更多工作
（3）添加内存
dataSize 数据大小 和 indexSize 索引大小，如果两者的和大于内存，那么将会影响性能。
storageSize超过dataSize 数据大小 两倍以上，就会因磁盘碎片而影响性能，需要压缩。
MongoDB是什么,怎么用?看完你就知道了
MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。
（1）MongoDB提出的是文档、集合的概念，使用BSON（类JSON）作为其数据模型结构，其结构是面向对象的而不是二维表，存储一个用户在MongoDB中是这样子的。
使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。
（2）易伸缩，自动故障转移。易伸缩指的是提供了分片能力，能对数据集进行分片，数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念，MongoDB能检测主节点是否存活，当失活时能自动提升从节点为主节点，达到故障转移。
（3）数据模型因为是面向对象的，所以可以表示丰富的、有层级的数据结构，比如博客系统中能把“评论”直接怼到“文章“的文档中，而不必像myqsl一样创建三张表来描述这样的关系。
（1）文档数据类型
SQL类型的数据库是正规化的，可以通过主键或者外键的约束保证数据的完整性与唯一性，所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库，且MongoDB没有固定的Schema，正因为MongoDB少了一些这样的约束条件，可以让数据的存储数据结构更灵活，存储速度更加快。
（2）即时查询能力
MongoDB保留了关系型数据库即时查询的能力，保留了索引（底层是基于B tree）的能力。这一点汲取了关系型数据库的优点，相比于同类型的NoSQL redis 并没有上述的能力。
（3）复制能力
MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。
（4）速度与持久性
MongoDB的驱动实现一个写入语义 fire and forget ，即通过驱动调用写入时，可以立即得到返回得到成功的结果（即使是报错），这样让写入的速度更加快，当然会有一定的不安全性，完全依赖网络。
MongoDB提供了Journaling日志的概念，实际上像mysql的bin-log日志，当需要插入的时候会先往日志里面写入记录，再完成实际的数据操作，这样如果出现停电，进程突然中断的情况，可以保障数据不会错误，可以通过修复功能读取Journaling日志进行修复。
（5）数据扩展
MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。
MongoDB核心服务器主要是通过mongod程序启动的，而且在启动时不需对MongoDB使用的内存进行配置，因为其设计哲学是内存管理最好是交给操作系统，缺少内存配置是MongoDB的设计亮点，另外，还可通过mongos路由服务器使用分片功能。
MongoDB的主要客户端是可以交互的js shell 通过mongo启动，使用js shell能使用js直接与MongoDB进行交流，像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据，另外还提供了各种语言的驱动包，方便各种语言的接入。
mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。
mongoexport和mongoimport，用来导入导出JSON、CSV和TSV数据，数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入，但是在导入前顺便还要注意一下，为了能充分利用好mongoDB通常需要对数据模型做一些调整。
mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。
因此，可以总结得到，MongoDB结合键值存储和关系数据库的最好特性。因为简单，所以数据极快，而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面，且最好单独部署，因为是数据库，所以也需要对其进行热备、冷备处理。
因为本篇文章不是API手册，所有这里对shell的使用也是基础的介绍什么功能可以用什么语句，主要是为了展示使用MongoDB shell的方便性，如果需要知道具体的MongoDB shell语法可以查阅官方文档。
创建数据库并不是必须的操作，数据库与集合只有在第一次插入文档时才会被创建，与对数据的动态处理方式是一致的。简化并加速开发过程，而且有利于动态分配命名空间。如果担心数据库或集合被意外创建，可以开启严格模式。
以上的命令只是简单实例，假设如果你之前没有学习过任何数据库语法，同时开始学sql查询语法和MongoDB 查询语法，你会发现哪一个更简单呢？如果你使用的是java驱动去操作MongoDB，你会发现任何的查询都像Hibernate提供出来的查询方式一样，只要构建好一个查询条件对象，便能轻松查询（接下来会给出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成没问题，也正因为这样简洁，完善的查询机制，深深的爱上了MongoDB。
使用java驱动链接MongoDB是一件非常简单的事情，简单的引用，简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用，下面简单的展示一下使用。
这里只举例了简单的链接与简单的MongoDB操作，可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的，如果查询结果较多，恰好无法全部放进第一服务器中，将会向服务器发送一个getmore指令获取下一批查询结果。
插入数据到服务器时间，不会等待服务器的响应，驱动会假设写入是成功的，实际是使用客户端生成对象id，但是该行为可以通过配置配置，可以通过安全模式开启，安全模式可以校验服务器端插入的错误。
要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档，在键值中有指向不定类型值的键，MongoDB拥有即时查询，但不支持联结操作，简单的键值存储只能根据单个键来获取值，不支持事务，但支持多种原子更新操作。
如读写比是怎样的，需要何种查询，数据是如何更新的，会不会存在什么并发问题，数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。
在关于schema 的设计中要注意一些原则，比如：
数据库是集合的逻辑与物理分组，MongoDB没有提供创建数据库的语法，只有在插入集合时，数据库才开始建立。创建数据库后会在磁盘分配一组数据文件，所有集合、索引和数据库的其他元数据都保存在这些文件中，查阅数据库使用磁盘状态可通过。
集合是结构上或概念上相似得文档的容器，集合的名称可以包含数字、字母或 . 符号，但必须以字母或数字开头，完全。
限定集合名不能超过128个字符，实际上 . 符号在集合中很有用，能提供某种虚拟命名空间，这是一种组织上的原则，和其他集合是一视同仁的。在集合中可以使用。
其次是键值，在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式，所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会*在16m以内，因为这样可以防止创建难看的数据类型，且小文档可以提升性能，批量插入文档理想数字范围是10~200，大小不能超过16MB。
（1）索引能显著减少获取文档的所需工作量，具体的对比可以通过 .explain()方法进行对比
（2）解析查询时MongoDB通过最优计划选择一个索引进行查询，当没有最适合索引时，会先不同的使用各个索引进行查询，最终选出一个最优索引做查询
（3）如果有一个a-b的复合索引，那么仅针对a的索引是冗余的
（4）复合索引里的键的顺序是很重要的
（1）单键索引
（2）复合索引
（3）唯一性索引
（4）稀疏索引
如索引的字段会出现null的值，或是大量文档都不包含被索引的键。
如果数据集很大时，构建索引将会花费很长的时间，且会影响程序性能，可通过
当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时，可使用
对索引进行压缩，重建。
（1）查阅慢查询日志
（2）分析慢查询
注意新版本的MongoDB 的explain方法是需要参数的，不然只显示普通的信息。
本节同样主要简单呈现MongoDB副本集搭建的简易性，与副本集的强壮性，监控容易性
提供主从复制能力，热备能力，故障转移能力
实际上MongoDB对副本集的操作跟mysql主从操作是差不多的，先看一下mysql的主从数据流动过程
而MongoDB主要依赖的日志文件是oplog
写操作先被记录下来，添加到主节点的oplog里。与此同时，所有从结点复制oplog。首先，查看自己oplog里最后一条的时间戳；其次，查询主节点oplog里所有大于此时间戳的条目;最后，把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。
当遇到以下情况，从节点会停止复制
local数据库保存了所有副本集元素据和oplog日志
可以使用以下命令查看复制情况
每个副本集成员每秒钟ping一次其他所有成员，可以通过rs.status()看到节点上次的心跳检测时间戳和 健康 状况。
这个点没必要过多描述，但是有一个特殊场景，如果从节点和仲裁节点都被杀了，只剩下主节点，他会把自己降级成为从节点。
如果主节点的数据还没有写到从库，那么数据不能算提交，当该主节点变成从节点时，便会触发回滚，那些没写到从库的数据将会被删除，可以通过rollback子目录中的BSON文件恢复回滚的内容。
（1）使用单节点链接
只能链接到主节点，如果链接到从节点的话，会被拒绝写入操作，但是如果没有使用安全模式，因为mongo的fire and forget 特性，会把拒绝写入的异常给吃掉。
（2）使用副本集方式链接
能根据写入的情况自动进行故障转移，但是当副本集进行新的选举时，还是会出现故障，如果不使用安全模式，依旧会出现写不进去，但现实成功的情况。
分片是数据库切分的一个概念实现，这里也是简单总结为什么要使用分片以及分片的原理，操作。
当数据量过大，索引和工作数据集占用的内存就会越来越多，所以需要通过分片负载来解决这个问题
（1）分片组件
（2）分片的核心操作
分片一个集合：分片是根据一个属性的范围进行划分的，MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置
块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据
（3）拆分与迁移
块的拆分：初始化时只有一个块，达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二，这样就有了两个块，每个块都有相同数量的文档。
迁移：当分片中的数据大小不一时会产生迁移的动作，比如分片A的数据比较多，会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡，是由名为均衡器的软件进程管理的，任务是确保数据在各个分片中保持均匀分布，当集群中拥有块最多的分片与拥有块最少分片的块差大于8时，均衡器就会发起一次均衡处理。
启动两个副本集、三个配置服务器、一个mongos进程
配置分片
（1）分片查询类型
（2）索引
分片集合只允许在_id字段和分片键上添加唯一性索引，其他地方不行，因为这需要在分片间进行通信，实施起来很复杂。
当创建分片时，会根据分片键创建一个索引。
（1）分片键是不可修改的、分片键的选择非常重要
（2）低效的分片键
（3）理想的分片键
（1）部署拓扑
根据不同的数据中心划分
这里写图片描述
（2）最低要求
（3）配置的注意事项
需要估计集群大小，可使用以下命令对现有集合进行分片处理
（4）备份分片集群
备份分片时需要停止均衡器
（1）部署架构
使用64位机器、32位机器会制约mongodb的内存，使其最大值为1.5GB
（2）cpu
mongodb 只有当索引和工作集都可放入内存时，才会遇到CPU瓶颈，CPU在mongodb使用中的作用是用来检索数据，如果看到CPU使用饱和的情况，可以通过查询慢查询日志，排查是不是查询的问题导致的，如果是可以通过添加索引来解决问题
mongodb写入数据时会使用到CPU，但是mongodb写入时间一次只用到一个核，如果有频繁的写入行为，可以通过分片来解决这个问题
（3）内存
大内存是mongodb的保障，如果工作集大小超过内存，将会导致性能下降，因为这将会增加数据加载入内存的动作
（4）硬盘
mongodb默认每60s会与磁盘强制同步一次，称为后台刷新，会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存，高速磁盘将会减少同步的时间
（5）文件系统
使用ext4 和 xfs 文件系统
禁用最后访问时间
（6）文件描述符
linux 默认文件描述符是1024，需要大额度的提升这个额度
（7）时钟
mongodb各个节点服务器之间使用ntp服务器
（1）绑定IP
启动时使用 - -bind_ip 命令
（2）身份验证
启动时使用 - -auth 命令
（3）副本集身份认证
使用keyFile，注意keyFile文件的权限必须是600，不然会启动不起来
（1）拓扑结构
搭建副本集至少需要两个节点，其中仲裁结点不需要有自己的服务器
（2）Journaling日志
写数据时会先写入日志，而此时的数据也不是直接写入硬盘，而是写入内存
但是Journaling日志会消耗内存，所以可以在主库上面关闭，在从库上面启动
可以单独为Journaling日志使用一块固态硬盘
在插入时，可以通过驱动确保Journaling插入后再反馈，但是会非常影响性能。
logpath 选项指定日志存储地址
-vvvvv 选项（v越多，输出越详细）
db.runCommand({logrotare:1}) 开启滚动日志
（1）serverStatus
这里写图片描述
（2）top
（3）db.currentOp()
动态展示mongodb活动数据
占用当前mongodb监听端口往上1000号的端口
（1）mongomp
把数据库内容导出成BSON文件，而mongorestore能读取并还原这些文件
（2）mongorestore
把导出的BSON文件还原到数据库
（3）备份原始数据文件
可以这么做，但是，操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 请求解锁操作，但是数据库不会立刻解锁，需要使用db.currentOp()验证。
（1）修复
mongd --repair 修复所有数据库
db.runCommand({repairDatabase:1}) 修复单个数据库
修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引
（2）压紧
压紧，会重写数据文件，并重建集合的全部索引，需要停机或者在从库上面运行,如果需要在主库上面运行，需要添加force参数 保证加写锁。
（1）监控磁盘状态
（2）为提升性能检查索引和查询
总的来说，扫描尽可能少的文档。
保证没有冗余的索引，冗余的索引会占用磁盘空间、消耗更多的内存，在每次写入时还需做更多工作
（3）添加内存
dataSize 数据大小 和 indexSize 索引大小，如果两者的和大于内存，那么将会影响性能。
storageSize超过dataSize 数据大小 两倍以上，就会因磁盘碎片而影响性能，需要压缩。
使用JavaAPI的5个技巧
使用JavaAPI的5个技巧
不要自己去实现安全框架
几平每个人都知道避免去实现加密等算法。同样道理，你的应用的安全栈的其余部分也是一样，可能需要花费很大，得到的风险也很大。你很可能会犯一些错误。自1999年以来，已经有89373个CVE(公共漏洞和暴露)发布了。而其中公开的大部分的发现者都是那些非常聪明的人。
你可能认为处理一个简单的用例（例如验证用户的密码)是很简单的事情一你所做的一切只是比较一对字符串。这样想就错了。你需要验证密码的哈希值，审核尝试登录的次数，减少针对字典的攻击，这只是冰山一角。你最好的选择是使用现有的成熟的库或框架，例如Apache的Shiro或者SpringSecurity,让这些框架去处理各类复杂的安全问题。
2.Use TLS,Always!永远使用TLS!
能让你的应用需要TLS(HTTPS/SSL)只需要简单的一行代码，所有人都应该这样做！如果使用Apache Shiro框架，只需要设置属性：[urls]/**=ssl如果使用Spring Security.,只需要在设置HttpSecurity时，简单调用一个方法即可。http.requiresChannel()anyRequest().requiresSecure()，在Spring Boot中，仅需设置一些属性，如下：server.port=8443 server.ssl.key-store=classpath:keystore.jks server.ssl.key-store-password=secret server.ssl.key-password=another-secret。
3.使用Spring Booti创建Web Service
Spring Boot:是Spring平台的一个简化，能让编写Spring应用变得很简单，例如能用很少的代码，编写《app应用中考虑的12个因素》一文中提到的观点。如果你还在使用建War包的方式编码，那么Spring Boot值得你去学习。使用Spring Booti可以复杂的、不同类型的应用，例如可以使用简单的注解。
(@EnableResourceServer)）就搭建一个OAuth资源服务器，或者通过简单的属性改变其端口：server.port 8090如果不喜欢使用SpringBoot,.那么可以使用Dropwizard去搭建JAX-RS技术栈。
4,监视应用和性能指标
如果无任何数据的情况下是很难发现程序的错误的。Spring Booti通过使用Actuator,能让收集指标数据变得容易，只需要在应用中增加一个依赖，如下：<dependency<groupld>org.springframework.boot</groupld>。
<artifactld>spring-boot-starter-actuator</artifactld>。
</dependency>。
然后就可以通过浏览器中，在访问应用地址后输入/health或者/metrics去检查应用的健康情况或者指标。Dropwizard框架通过healthcheck和/metrics实现同样的功能。
5.保护敏感信息
人们都认为API密钥是不安全的，这是事实。密钥通过电子邮件发送或源代码管理系统控制。也许这是它们看起来比密码更不安全的原因，但它们也一样敏感。如果需要将AP川密钥存储在文件中，请确保授予文件有限的访问权限。
例如，我们建议在私人目录中存放Okta的YAML文件并且赋予文件所有者只读权限。chmod u=r,go-rwx ~/.okta/okta.yaml如果你正为使用你的APP的用户创建API,记得提醒他们，如果无设置好权限的话，SSH的忽文件是放在你的~/.ssh目录下，如果无设置好权限的话。GitHub把它们放在“危险区域”，以提醒用户，这是十分有用的。