效果:我们查询一下,确实是插入进去了:
事实上在日常的业务中,很少有一次性取10000条数据的,但是有时候从数据库取出来的数据是跨数据的,比如取第100页的数据。我们查询的时候不想一次性取出那么多数据,想进行逐条处理,这个时候我们就需要使用“游标(cursor)”来解决。什么是“游标”?通俗的说,游标不是查询结果,而是查询的一个返回资源或者接口,通过这个接口,可以逐条读取数据。就类似java中的读取流一样,使用包装类的readLine()方法一行一行去读。
(2)游标使用语法声明游标:var cursor=db.collectionName.find({filed:value,...});find的查询结果赋值给了游标cursor变量。我们获取我们刚刚插入的10000条数据的游标对象(条件是_id<=5),然后分别打印所有数据的信息:
其中next()方法就是取出下一个数据。printjson就是以json格式打印出数据。同样也可以使用js的while语法来循环打印刚刚的数据:
当然也可以使用for循环来打印:
还有一个比较常用的方法,叫“forEach”,每一个forEach里面有一个回调函数,这个函数中的obj对象就是游标指向的数据集的每一个数据。
这个方法给了我们很大的自由度,可以在回调函数中做一些我们想做的操作。(3)游标在数据库的应用游标在分页时如何使用?例如查询到10000行,跳过100页,取10行。一般的,我们假设每页N行,当前是page页,就需要跳过(page-1)*N行,再取N行。在Mysql中,我们可以使用limit offset,N来实现。在mongodb中,使用skip(),limit()函数来实现。我们取出我们10000条数据的第9996-10000条的数据,可以使用skip()函数来实现:
可以使用limit限制取出的数据条数,我们查询第801页,每页10条:
同理,也可以在查询的时候使用分页方法:
如果我们不想迭代打印,想直接把结果以数组的形式打印出来,使用游标的toArray()方法:
想取出某一个,使用数组的下标即可:
这里要提醒大家的是,如果查询少量的数据,可以使用toArray方法,查询大量的数据不建议使用toArray方法,因为toArray方法会把所有的行立即以对象的形式组织在内存里,十分耗费内存,可以在取出少
量几行时,使用此功能。
转载请注明出处:http://blog.csdn.net/acmman/article/details/54426116
mongoDB7--游标
标签:for read 比较 插入数据 world 方法 copy 如何 打印
小编还为您整理了以下内容,可能对您也有帮助:
MongoDB和Redis的区别是什么
MongoDB 更类似 MySQL,支持字段索引、游标操作,其优势在于查询功能比较强大,擅长查询 JSON 数据,能存储海量数据,但是不支持事务。
Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,支持多种类型的数据结构,可用作数据库,高速缓存和消息队列代理。
MongoDB和Redis的区别是什么
1、内存管理机制
Redis 数据全部存在内存,定期写入磁盘,当内存不够时,可以选择指定的 LRU 算法删除数据。
MongoDB 数据存在内存,由 linux系统 mmap 实现,当内存不够时,只将热点数据放入内存,其他数据存在磁盘。
2、支持的数据结构
Redis 支持的数据结构丰富,包括hash、set、list等。
MongoDB 数据结构比较单一,但是支持丰富的数据表达,索引,最类似关系型数据库,支持的查询语言非常丰富。
3、数据量和性能:
当物理内存够用的时候,redis>mongodb>mysql
当物理内存不够用的时候,redis和mongodb都会使用虚拟内存。
实际上如果redis要开始虚拟内存,那很明显要么加内存条,要么你换个数据库了。
但是,mongodb不一样,只要,业务上能保证,冷热数据的读写比,使得热数据在物理内存中,mmap的交换较少。
mongodb还是能够保证性能。
4、性能
mongodb依赖内存,TPS较高;Redis依赖内存,TPS非常高。性能上Redis优于MongoDB。
5、可靠性
mongodb从1.8版本后,采用binlog方式(MySQL同样采用该方式)支持持久化,增加可靠性;
Redis依赖快照进行持久化;AOF增强可靠性;增强可靠性的同时,影响访问性能。
可靠性上MongoDB优于Redis。
6、数据分析
mongodb内置数据分析功能(maprece);而Redis不支持。
7、事务支持情况
Redis 事务支持比较弱,只能保证事务中的每个操作连续执行;mongodb不支持事务。
8、集群
MongoDB 集群技术比较成熟,Redis从3.0开始支持集群。
相关视频教程推荐:《MongoDB教程》、《Redis教程》
MongoDB是什么,怎么用?看完你就知道了
MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库,是NoSQL类型的数据库。
(1)MongoDB提出的是文档、集合的概念,使用BSON(类JSON)作为其数据模型结构,其结构是面向对象的而不是二维表,存储一个用户在MongoDB中是这样子的。
使用这样的数据模型,使得MongoDB能在生产环境中提供高读写的能力,吞吐量较于mysql等SQL数据库大大增强。
(2)易伸缩,自动故障转移。易伸缩指的是提供了分片能力,能对数据集进行分片,数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念,MongoDB能检测主节点是否存活,当失活时能自动提升从节点为主节点,达到故障转移。
(3)数据模型因为是面向对象的,所以可以表示丰富的、有层级的数据结构,比如博客系统中能把“评论”直接怼到“文章“的文档中,而不必像myqsl一样创建三张表来描述这样的关系。
(1)文档数据类型
SQL类型的数据库是正规化的,可以通过主键或者外键的约束保证数据的完整性与唯一性,所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库,且MongoDB没有固定的Schema,正因为MongoDB少了一些这样的约束条件,可以让数据的存储数据结构更灵活,存储速度更加快。
(2)即时查询能力
MongoDB保留了关系型数据库即时查询的能力,保留了索引(底层是基于B tree)的能力。这一点汲取了关系型数据库的优点,相比于同类型的NoSQL redis 并没有上述的能力。
(3)复制能力
MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余,目的是可以提供自动故障转移、扩展读能力。
(4)速度与持久性
MongoDB的驱动实现一个写入语义 fire and forget ,即通过驱动调用写入时,可以立即得到返回得到成功的结果(即使是报错),这样让写入的速度更加快,当然会有一定的不安全性,完全依赖网络。
MongoDB提供了Journaling日志的概念,实际上像mysql的bin-log日志,当需要插入的时候会先往日志里面写入记录,再完成实际的数据操作,这样如果出现停电,进程突然中断的情况,可以保障数据不会错误,可以通过修复功能读取Journaling日志进行修复。
(5)数据扩展
MongoDB使用分片技术对数据进行扩展,MongoDB能自动分片、自动转移分片里面的数据块,让每一个服务器里面存储的数据都是一样大小。
MongoDB核心服务器主要是通过mongod程序启动的,而且在启动时不需对MongoDB使用的内存进行配置,因为其设计哲学是内存管理最好是交给操作系统,缺少内存配置是MongoDB的设计亮点,另外,还可通过mongos路由服务器使用分片功能。
MongoDB的主要客户端是可以交互的js shell 通过mongo启动,使用js shell能使用js直接与MongoDB进行交流,像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据,另外还提供了各种语言的驱动包,方便各种语言的接入。
mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式,迁移数据库。
mongoexport和mongoimport,用来导入导出JSON、CSV和TSV数据,数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入,但是在导入前顺便还要注意一下,为了能充分利用好mongoDB通常需要对数据模型做一些调整。
mongosniff,网络嗅探工具,用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。
因此,可以总结得到,MongoDB结合键值存储和关系数据库的最好特性。因为简单,所以数据极快,而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面,且最好单独部署,因为是数据库,所以也需要对其进行热备、冷备处理。
因为本篇文章不是API手册,所有这里对shell的使用也是基础的介绍什么功能可以用什么语句,主要是为了展示使用MongoDB shell的方便性,如果需要知道具体的MongoDB shell语法可以查阅官方文档。
创建数据库并不是必须的操作,数据库与集合只有在第一次插入文档时才会被创建,与对数据的动态处理方式是一致的。简化并加速开发过程,而且有利于动态分配命名空间。如果担心数据库或集合被意外创建,可以开启严格模式。
以上的命令只是简单实例,假设如果你之前没有学习过任何数据库语法,同时开始学sql查询语法和MongoDB 查询语法,你会发现哪一个更简单呢?如果你使用的是java驱动去操作MongoDB,你会发现任何的查询都像Hibernate提供出来的查询方式一样,只要构建好一个查询条件对象,便能轻松查询(接下来会给出示例),博主之前熟悉ES6,所以入手MongoDB js shell完成没问题,也正因为这样简洁,完善的查询机制,深深的爱上了MongoDB。
使用java驱动链接MongoDB是一件非常简单的事情,简单的引用,简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用,下面简单的展示一下使用。
这里只举例了简单的链接与简单的MongoDB操作,可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的,如果查询结果较多,恰好无法全部放进第一服务器中,将会向服务器发送一个getmore指令获取下一批查询结果。
插入数据到服务器时间,不会等待服务器的响应,驱动会假设写入是成功的,实际是使用客户端生成对象id,但是该行为可以通过配置配置,可以通过安全模式开启,安全模式可以校验服务器端插入的错误。
要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档,在键值中有指向不定类型值的键,MongoDB拥有即时查询,但不支持联结操作,简单的键值存储只能根据单个键来获取值,不支持事务,但支持多种原子更新操作。
如读写比是怎样的,需要何种查询,数据是如何更新的,会不会存在什么并发问题,数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。
在关于schema 的设计中要注意一些原则,比如:
数据库是集合的逻辑与物理分组,MongoDB没有提供创建数据库的语法,只有在插入集合时,数据库才开始建立。创建数据库后会在磁盘分配一组数据文件,所有集合、索引和数据库的其他元数据都保存在这些文件中,查阅数据库使用磁盘状态可通过。
集合是结构上或概念上相似得文档的容器,集合的名称可以包含数字、字母或 . 符号,但必须以字母或数字开头,完全。
限定集合名不能超过128个字符,实际上 . 符号在集合中很有用,能提供某种虚拟命名空间,这是一种组织上的原则,和其他集合是一视同仁的。在集合中可以使用。
其次是键值,在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式,所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会*在16m以内,因为这样可以防止创建难看的数据类型,且小文档可以提升性能,批量插入文档理想数字范围是10~200,大小不能超过16MB。
(1)索引能显著减少获取文档的所需工作量,具体的对比可以通过 .explain()方法进行对比
(2)解析查询时MongoDB通过最优计划选择一个索引进行查询,当没有最适合索引时,会先不同的使用各个索引进行查询,最终选出一个最优索引做查询
(3)如果有一个a-b的复合索引,那么仅针对a的索引是冗余的
(4)复合索引里的键的顺序是很重要的
(1)单键索引
(2)复合索引
(3)唯一性索引
(4)稀疏索引
如索引的字段会出现null的值,或是大量文档都不包含被索引的键。
如果数据集很大时,构建索引将会花费很长的时间,且会影响程序性能,可通过
当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时,可使用
对索引进行压缩,重建。
(1)查阅慢查询日志
(2)分析慢查询
注意新版本的MongoDB 的explain方法是需要参数的,不然只显示普通的信息。
本节同样主要简单呈现MongoDB副本集搭建的简易性,与副本集的强壮性,监控容易性
提供主从复制能力,热备能力,故障转移能力
实际上MongoDB对副本集的操作跟mysql主从操作是差不多的,先看一下mysql的主从数据流动过程
而MongoDB主要依赖的日志文件是oplog
写操作先被记录下来,添加到主节点的oplog里。与此同时,所有从结点复制oplog。首先,查看自己oplog里最后一条的时间戳;其次,查询主节点oplog里所有大于此时间戳的条目;最后,把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。
当遇到以下情况,从节点会停止复制
local数据库保存了所有副本集元素据和oplog日志
可以使用以下命令查看复制情况
每个副本集成员每秒钟ping一次其他所有成员,可以通过rs.status()看到节点上次的心跳检测时间戳和 健康 状况。
这个点没必要过多描述,但是有一个特殊场景,如果从节点和仲裁节点都被杀了,只剩下主节点,他会把自己降级成为从节点。
如果主节点的数据还没有写到从库,那么数据不能算提交,当该主节点变成从节点时,便会触发回滚,那些没写到从库的数据将会被删除,可以通过rollback子目录中的BSON文件恢复回滚的内容。
(1)使用单节点链接
只能链接到主节点,如果链接到从节点的话,会被拒绝写入操作,但是如果没有使用安全模式,因为mongo的fire and forget 特性,会把拒绝写入的异常给吃掉。
(2)使用副本集方式链接
能根据写入的情况自动进行故障转移,但是当副本集进行新的选举时,还是会出现故障,如果不使用安全模式,依旧会出现写不进去,但现实成功的情况。
分片是数据库切分的一个概念实现,这里也是简单总结为什么要使用分片以及分片的原理,操作。
当数据量过大,索引和工作数据集占用的内存就会越来越多,所以需要通过分片负载来解决这个问题
(1)分片组件
(2)分片的核心操作
分片一个集合:分片是根据一个属性的范围进行划分的,MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置
块:是位于一个分片中的一段连续的分片键范围,可以理解为若干个块组成分片,分片组成MongoDB的全部数据
(3)拆分与迁移
块的拆分:初始化时只有一个块,达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二,这样就有了两个块,每个块都有相同数量的文档。
迁移:当分片中的数据大小不一时会产生迁移的动作,比如分片A的数据比较多,会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡,是由名为均衡器的软件进程管理的,任务是确保数据在各个分片中保持均匀分布,当集群中拥有块最多的分片与拥有块最少分片的块差大于8时,均衡器就会发起一次均衡处理。
启动两个副本集、三个配置服务器、一个mongos进程
配置分片
(1)分片查询类型
(2)索引
分片集合只允许在_id字段和分片键上添加唯一性索引,其他地方不行,因为这需要在分片间进行通信,实施起来很复杂。
当创建分片时,会根据分片键创建一个索引。
(1)分片键是不可修改的、分片键的选择非常重要
(2)低效的分片键
(3)理想的分片键
(1)部署拓扑
根据不同的数据中心划分
这里写图片描述
(2)最低要求
(3)配置的注意事项
需要估计集群大小,可使用以下命令对现有集合进行分片处理
(4)备份分片集群
备份分片时需要停止均衡器
(1)部署架构
使用64位机器、32位机器会制约mongodb的内存,使其最大值为1.5GB
(2)cpu
mongodb 只有当索引和工作集都可放入内存时,才会遇到CPU瓶颈,CPU在mongodb使用中的作用是用来检索数据,如果看到CPU使用饱和的情况,可以通过查询慢查询日志,排查是不是查询的问题导致的,如果是可以通过添加索引来解决问题
mongodb写入数据时会使用到CPU,但是mongodb写入时间一次只用到一个核,如果有频繁的写入行为,可以通过分片来解决这个问题
(3)内存
大内存是mongodb的保障,如果工作集大小超过内存,将会导致性能下降,因为这将会增加数据加载入内存的动作
(4)硬盘
mongodb默认每60s会与磁盘强制同步一次,称为后台刷新,会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存,高速磁盘将会减少同步的时间
(5)文件系统
使用ext4 和 xfs 文件系统
禁用最后访问时间
(6)文件描述符
linux 默认文件描述符是1024,需要大额度的提升这个额度
(7)时钟
mongodb各个节点服务器之间使用ntp服务器
(1)绑定IP
启动时使用 - -bind_ip 命令
(2)身份验证
启动时使用 - -auth 命令
(3)副本集身份认证
使用keyFile,注意keyFile文件的权限必须是600,不然会启动不起来
(1)拓扑结构
搭建副本集至少需要两个节点,其中仲裁结点不需要有自己的服务器
(2)Journaling日志
写数据时会先写入日志,而此时的数据也不是直接写入硬盘,而是写入内存
但是Journaling日志会消耗内存,所以可以在主库上面关闭,在从库上面启动
可以单独为Journaling日志使用一块固态硬盘
在插入时,可以通过驱动确保Journaling插入后再反馈,但是会非常影响性能。
logpath 选项指定日志存储地址
-vvvvv 选项(v越多,输出越详细)
db.runCommand({logrotare:1}) 开启滚动日志
(1)serverStatus
这里写图片描述
(2)top
(3)db.currentOp()
动态展示mongodb活动数据
占用当前mongodb监听端口往上1000号的端口
(1)mongomp
把数据库内容导出成BSON文件,而mongorestore能读取并还原这些文件
(2)mongorestore
把导出的BSON文件还原到数据库
(3)备份原始数据文件
可以这么做,但是,操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 请求解锁操作,但是数据库不会立刻解锁,需要使用db.currentOp()验证。
(1)修复
mongd --repair 修复所有数据库
db.runCommand({repairDatabase:1}) 修复单个数据库
修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引
(2)压紧
压紧,会重写数据文件,并重建集合的全部索引,需要停机或者在从库上面运行,如果需要在主库上面运行,需要添加force参数 保证加写锁。
(1)监控磁盘状态
(2)为提升性能检查索引和查询
总的来说,扫描尽可能少的文档。
保证没有冗余的索引,冗余的索引会占用磁盘空间、消耗更多的内存,在每次写入时还需做更多工作
(3)添加内存
dataSize 数据大小 和 indexSize 索引大小,如果两者的和大于内存,那么将会影响性能。
storageSize超过dataSize 数据大小 两倍以上,就会因磁盘碎片而影响性能,需要压缩。
MongoDB是什么,怎么用?看完你就知道了
MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库,是NoSQL类型的数据库。
(1)MongoDB提出的是文档、集合的概念,使用BSON(类JSON)作为其数据模型结构,其结构是面向对象的而不是二维表,存储一个用户在MongoDB中是这样子的。
使用这样的数据模型,使得MongoDB能在生产环境中提供高读写的能力,吞吐量较于mysql等SQL数据库大大增强。
(2)易伸缩,自动故障转移。易伸缩指的是提供了分片能力,能对数据集进行分片,数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念,MongoDB能检测主节点是否存活,当失活时能自动提升从节点为主节点,达到故障转移。
(3)数据模型因为是面向对象的,所以可以表示丰富的、有层级的数据结构,比如博客系统中能把“评论”直接怼到“文章“的文档中,而不必像myqsl一样创建三张表来描述这样的关系。
(1)文档数据类型
SQL类型的数据库是正规化的,可以通过主键或者外键的约束保证数据的完整性与唯一性,所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库,且MongoDB没有固定的Schema,正因为MongoDB少了一些这样的约束条件,可以让数据的存储数据结构更灵活,存储速度更加快。
(2)即时查询能力
MongoDB保留了关系型数据库即时查询的能力,保留了索引(底层是基于B tree)的能力。这一点汲取了关系型数据库的优点,相比于同类型的NoSQL redis 并没有上述的能力。
(3)复制能力
MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余,目的是可以提供自动故障转移、扩展读能力。
(4)速度与持久性
MongoDB的驱动实现一个写入语义 fire and forget ,即通过驱动调用写入时,可以立即得到返回得到成功的结果(即使是报错),这样让写入的速度更加快,当然会有一定的不安全性,完全依赖网络。
MongoDB提供了Journaling日志的概念,实际上像mysql的bin-log日志,当需要插入的时候会先往日志里面写入记录,再完成实际的数据操作,这样如果出现停电,进程突然中断的情况,可以保障数据不会错误,可以通过修复功能读取Journaling日志进行修复。
(5)数据扩展
MongoDB使用分片技术对数据进行扩展,MongoDB能自动分片、自动转移分片里面的数据块,让每一个服务器里面存储的数据都是一样大小。
MongoDB核心服务器主要是通过mongod程序启动的,而且在启动时不需对MongoDB使用的内存进行配置,因为其设计哲学是内存管理最好是交给操作系统,缺少内存配置是MongoDB的设计亮点,另外,还可通过mongos路由服务器使用分片功能。
MongoDB的主要客户端是可以交互的js shell 通过mongo启动,使用js shell能使用js直接与MongoDB进行交流,像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据,另外还提供了各种语言的驱动包,方便各种语言的接入。
mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式,迁移数据库。
mongoexport和mongoimport,用来导入导出JSON、CSV和TSV数据,数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入,但是在导入前顺便还要注意一下,为了能充分利用好mongoDB通常需要对数据模型做一些调整。
mongosniff,网络嗅探工具,用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。
因此,可以总结得到,MongoDB结合键值存储和关系数据库的最好特性。因为简单,所以数据极快,而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面,且最好单独部署,因为是数据库,所以也需要对其进行热备、冷备处理。
因为本篇文章不是API手册,所有这里对shell的使用也是基础的介绍什么功能可以用什么语句,主要是为了展示使用MongoDB shell的方便性,如果需要知道具体的MongoDB shell语法可以查阅官方文档。
创建数据库并不是必须的操作,数据库与集合只有在第一次插入文档时才会被创建,与对数据的动态处理方式是一致的。简化并加速开发过程,而且有利于动态分配命名空间。如果担心数据库或集合被意外创建,可以开启严格模式。
以上的命令只是简单实例,假设如果你之前没有学习过任何数据库语法,同时开始学sql查询语法和MongoDB 查询语法,你会发现哪一个更简单呢?如果你使用的是java驱动去操作MongoDB,你会发现任何的查询都像Hibernate提供出来的查询方式一样,只要构建好一个查询条件对象,便能轻松查询(接下来会给出示例),博主之前熟悉ES6,所以入手MongoDB js shell完成没问题,也正因为这样简洁,完善的查询机制,深深的爱上了MongoDB。
使用java驱动链接MongoDB是一件非常简单的事情,简单的引用,简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用,下面简单的展示一下使用。
这里只举例了简单的链接与简单的MongoDB操作,可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的,如果查询结果较多,恰好无法全部放进第一服务器中,将会向服务器发送一个getmore指令获取下一批查询结果。
插入数据到服务器时间,不会等待服务器的响应,驱动会假设写入是成功的,实际是使用客户端生成对象id,但是该行为可以通过配置配置,可以通过安全模式开启,安全模式可以校验服务器端插入的错误。
要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档,在键值中有指向不定类型值的键,MongoDB拥有即时查询,但不支持联结操作,简单的键值存储只能根据单个键来获取值,不支持事务,但支持多种原子更新操作。
如读写比是怎样的,需要何种查询,数据是如何更新的,会不会存在什么并发问题,数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。
在关于schema 的设计中要注意一些原则,比如:
数据库是集合的逻辑与物理分组,MongoDB没有提供创建数据库的语法,只有在插入集合时,数据库才开始建立。创建数据库后会在磁盘分配一组数据文件,所有集合、索引和数据库的其他元数据都保存在这些文件中,查阅数据库使用磁盘状态可通过。
集合是结构上或概念上相似得文档的容器,集合的名称可以包含数字、字母或 . 符号,但必须以字母或数字开头,完全。
限定集合名不能超过128个字符,实际上 . 符号在集合中很有用,能提供某种虚拟命名空间,这是一种组织上的原则,和其他集合是一视同仁的。在集合中可以使用。
其次是键值,在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式,所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会*在16m以内,因为这样可以防止创建难看的数据类型,且小文档可以提升性能,批量插入文档理想数字范围是10~200,大小不能超过16MB。
(1)索引能显著减少获取文档的所需工作量,具体的对比可以通过 .explain()方法进行对比
(2)解析查询时MongoDB通过最优计划选择一个索引进行查询,当没有最适合索引时,会先不同的使用各个索引进行查询,最终选出一个最优索引做查询
(3)如果有一个a-b的复合索引,那么仅针对a的索引是冗余的
(4)复合索引里的键的顺序是很重要的
(1)单键索引
(2)复合索引
(3)唯一性索引
(4)稀疏索引
如索引的字段会出现null的值,或是大量文档都不包含被索引的键。
如果数据集很大时,构建索引将会花费很长的时间,且会影响程序性能,可通过
当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时,可使用
对索引进行压缩,重建。
(1)查阅慢查询日志
(2)分析慢查询
注意新版本的MongoDB 的explain方法是需要参数的,不然只显示普通的信息。
本节同样主要简单呈现MongoDB副本集搭建的简易性,与副本集的强壮性,监控容易性
提供主从复制能力,热备能力,故障转移能力
实际上MongoDB对副本集的操作跟mysql主从操作是差不多的,先看一下mysql的主从数据流动过程
而MongoDB主要依赖的日志文件是oplog
写操作先被记录下来,添加到主节点的oplog里。与此同时,所有从结点复制oplog。首先,查看自己oplog里最后一条的时间戳;其次,查询主节点oplog里所有大于此时间戳的条目;最后,把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。
当遇到以下情况,从节点会停止复制
local数据库保存了所有副本集元素据和oplog日志
可以使用以下命令查看复制情况
每个副本集成员每秒钟ping一次其他所有成员,可以通过rs.status()看到节点上次的心跳检测时间戳和 健康 状况。
这个点没必要过多描述,但是有一个特殊场景,如果从节点和仲裁节点都被杀了,只剩下主节点,他会把自己降级成为从节点。
如果主节点的数据还没有写到从库,那么数据不能算提交,当该主节点变成从节点时,便会触发回滚,那些没写到从库的数据将会被删除,可以通过rollback子目录中的BSON文件恢复回滚的内容。
(1)使用单节点链接
只能链接到主节点,如果链接到从节点的话,会被拒绝写入操作,但是如果没有使用安全模式,因为mongo的fire and forget 特性,会把拒绝写入的异常给吃掉。
(2)使用副本集方式链接
能根据写入的情况自动进行故障转移,但是当副本集进行新的选举时,还是会出现故障,如果不使用安全模式,依旧会出现写不进去,但现实成功的情况。
分片是数据库切分的一个概念实现,这里也是简单总结为什么要使用分片以及分片的原理,操作。
当数据量过大,索引和工作数据集占用的内存就会越来越多,所以需要通过分片负载来解决这个问题
(1)分片组件
(2)分片的核心操作
分片一个集合:分片是根据一个属性的范围进行划分的,MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置
块:是位于一个分片中的一段连续的分片键范围,可以理解为若干个块组成分片,分片组成MongoDB的全部数据
(3)拆分与迁移
块的拆分:初始化时只有一个块,达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二,这样就有了两个块,每个块都有相同数量的文档。
迁移:当分片中的数据大小不一时会产生迁移的动作,比如分片A的数据比较多,会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡,是由名为均衡器的软件进程管理的,任务是确保数据在各个分片中保持均匀分布,当集群中拥有块最多的分片与拥有块最少分片的块差大于8时,均衡器就会发起一次均衡处理。
启动两个副本集、三个配置服务器、一个mongos进程
配置分片
(1)分片查询类型
(2)索引
分片集合只允许在_id字段和分片键上添加唯一性索引,其他地方不行,因为这需要在分片间进行通信,实施起来很复杂。
当创建分片时,会根据分片键创建一个索引。
(1)分片键是不可修改的、分片键的选择非常重要
(2)低效的分片键
(3)理想的分片键
(1)部署拓扑
根据不同的数据中心划分
这里写图片描述
(2)最低要求
(3)配置的注意事项
需要估计集群大小,可使用以下命令对现有集合进行分片处理
(4)备份分片集群
备份分片时需要停止均衡器
(1)部署架构
使用64位机器、32位机器会制约mongodb的内存,使其最大值为1.5GB
(2)cpu
mongodb 只有当索引和工作集都可放入内存时,才会遇到CPU瓶颈,CPU在mongodb使用中的作用是用来检索数据,如果看到CPU使用饱和的情况,可以通过查询慢查询日志,排查是不是查询的问题导致的,如果是可以通过添加索引来解决问题
mongodb写入数据时会使用到CPU,但是mongodb写入时间一次只用到一个核,如果有频繁的写入行为,可以通过分片来解决这个问题
(3)内存
大内存是mongodb的保障,如果工作集大小超过内存,将会导致性能下降,因为这将会增加数据加载入内存的动作
(4)硬盘
mongodb默认每60s会与磁盘强制同步一次,称为后台刷新,会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存,高速磁盘将会减少同步的时间
(5)文件系统
使用ext4 和 xfs 文件系统
禁用最后访问时间
(6)文件描述符
linux 默认文件描述符是1024,需要大额度的提升这个额度
(7)时钟
mongodb各个节点服务器之间使用ntp服务器
(1)绑定IP
启动时使用 - -bind_ip 命令
(2)身份验证
启动时使用 - -auth 命令
(3)副本集身份认证
使用keyFile,注意keyFile文件的权限必须是600,不然会启动不起来
(1)拓扑结构
搭建副本集至少需要两个节点,其中仲裁结点不需要有自己的服务器
(2)Journaling日志
写数据时会先写入日志,而此时的数据也不是直接写入硬盘,而是写入内存
但是Journaling日志会消耗内存,所以可以在主库上面关闭,在从库上面启动
可以单独为Journaling日志使用一块固态硬盘
在插入时,可以通过驱动确保Journaling插入后再反馈,但是会非常影响性能。
logpath 选项指定日志存储地址
-vvvvv 选项(v越多,输出越详细)
db.runCommand({logrotare:1}) 开启滚动日志
(1)serverStatus
这里写图片描述
(2)top
(3)db.currentOp()
动态展示mongodb活动数据
占用当前mongodb监听端口往上1000号的端口
(1)mongomp
把数据库内容导出成BSON文件,而mongorestore能读取并还原这些文件
(2)mongorestore
把导出的BSON文件还原到数据库
(3)备份原始数据文件
可以这么做,但是,操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 请求解锁操作,但是数据库不会立刻解锁,需要使用db.currentOp()验证。
(1)修复
mongd --repair 修复所有数据库
db.runCommand({repairDatabase:1}) 修复单个数据库
修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引
(2)压紧
压紧,会重写数据文件,并重建集合的全部索引,需要停机或者在从库上面运行,如果需要在主库上面运行,需要添加force参数 保证加写锁。
(1)监控磁盘状态
(2)为提升性能检查索引和查询
总的来说,扫描尽可能少的文档。
保证没有冗余的索引,冗余的索引会占用磁盘空间、消耗更多的内存,在每次写入时还需做更多工作
(3)添加内存
dataSize 数据大小 和 indexSize 索引大小,如果两者的和大于内存,那么将会影响性能。
storageSize超过dataSize 数据大小 两倍以上,就会因磁盘碎片而影响性能,需要压缩。
win7系统如何安装mongodb?win7系统安装mongodb的方法
本教程和大家分享win7系统安装mongodb的方法?mongodb有什么作用呢?mongodb是当下流行的非关系型数据库,功能非常强大。可是win7系统如何安装mongodb?其实安装mongodb的步骤比较简单。接下去小编分享win7系统安装mongodb的方法。
推荐:虚拟机专用win7系统下载
具体方法如下:
1、下载后点击安装;
2、同意许可,点击下一步;
3、选择Complete,点击下一步;
4、点击install进行安装;
5、安装完成后;
6、打开路径C:ProgramFilesMongoDBServer3.0,里面默认有个bin文件夹,在里面新建一个data文件夹,在data文件夹下新建db和log文件夹,,打开命令提示符,cd到C:ProgramFilesMongoDBServer3.0in目录下;
7、输入一下内容:
mongod--dbpathC:ProgramFilesmongodbdatadb--logpath
C:ProgramFilesmongodbdatalogMongoDB.log--install--serviceNameMongoDB
这里MongoDB.log就是开始建立的日志文件,--serviceNameMongoDB服务名为MongoDB
运行命令成功;
8、当服务已经安装成功,运行(开启服务)NETSTARTMongoDB(关闭服务)NETstopMongoDB;
9、找到安装目录点击,可直接双击bin下的mongod.exe这个启动程序,
启动程序开启后,再运行mongo.exe程序,输入以下指令进行测试:
(往foo表插入a,1字段值,foo表为默认表)
db.foo.insert({a:1})
(查看foo表数据)
db.foo.find()
命令行输出结果。
以上和大家分享就是win7系统安装mongodb的方法,简单的操作步骤,有需要的小伙伴不妨参考本教程进行设置吧。
win7系统如何安装mongodb?win7系统安装mongodb的方法
本教程和大家分享win7系统安装mongodb的方法?mongodb有什么作用呢?mongodb是当下流行的非关系型数据库,功能非常强大。可是win7系统如何安装mongodb?其实安装mongodb的步骤比较简单。接下去小编分享win7系统安装mongodb的方法。
推荐:虚拟机专用win7系统下载
具体方法如下:
1、下载后点击安装;
2、同意许可,点击下一步;
3、选择Complete,点击下一步;
4、点击install进行安装;
5、安装完成后;
6、打开路径C:ProgramFilesMongoDBServer3.0,里面默认有个bin文件夹,在里面新建一个data文件夹,在data文件夹下新建db和log文件夹,,打开命令提示符,cd到C:ProgramFilesMongoDBServer3.0in目录下;
7、输入一下内容:
mongod--dbpathC:ProgramFilesmongodbdatadb--logpath
C:ProgramFilesmongodbdatalogMongoDB.log--install--serviceNameMongoDB
这里MongoDB.log就是开始建立的日志文件,--serviceNameMongoDB服务名为MongoDB
运行命令成功;
8、当服务已经安装成功,运行(开启服务)NETSTARTMongoDB(关闭服务)NETstopMongoDB;
9、找到安装目录点击,可直接双击bin下的mongod.exe这个启动程序,
启动程序开启后,再运行mongo.exe程序,输入以下指令进行测试:
(往foo表插入a,1字段值,foo表为默认表)
db.foo.insert({a:1})
(查看foo表数据)
db.foo.find()
命令行输出结果。
以上和大家分享就是win7系统安装mongodb的方法,简单的操作步骤,有需要的小伙伴不妨参考本教程进行设置吧。
Win7系统安装MongoDB数据库的方法
MongoDB数据库是一个基于分布式文件存储的数据库,很多编程人员会在电脑中安装MongoDB数据库,然而仍然有一些新手并不知道要怎么安装MongoDB数据库,现在就给大家分享一下Win7系统安装MongoDB数据库的方法。
推荐:
解决方法1:
1、将下载的压缩包解压缩并放置到你想放置的位置,在目录下建立一个叫做DB的文件夹和一个log.txt的文件:
DB文件夹用于存储数据库
log.txt用于记录MongoDB的日志
2、将上述工作准备好就可以开始安装快云MongoDB了。
3、这里讲的方法是将MongoDB安装为Windows的服务的方式,打开windows的命令行(注意:请使用个管理员权限启动命令行)并移动到你MongoDB目录下的Bin文件夹,我这里的路径是d:DEVENVmongodb;
4、输入下列命令可将MongoDB注册为Windows服务:
mongod.exe install logpath=D:DEVENVmongodblog.txt dbpath=D:DEVENVmongodbDB
install 参数是设定安装为服务器
logpath 参数是设定日志文件的路径,log.txt是在上一步建立好的文件
dbpath 参数是设定数据库文件的存放路径,DB文件夹在上一步骤已经创建好
执行结果如下:
5、这时再输入net start mongodb,即可启动mongodb服务,启动后,再到命令行输入mongo;
6、如果成功的进入mongo的shell环境(参见下图)那么就说明MongoDB已经安装成功了,开始你的NoSQL之旅吧!
如何正确的使用MongoDB并优化其性能
数据库性能对软件整体性能的影响是不言而喻的,那么,当我们使用MongoDB时改如何提高数据库性能呢?
1.范式化与反范式化
在项目设计阶段,明确集合的用途是对性能调优非常重要的一步。
从性能优化的角度来看,集合的设计我们需要考虑的是集合中数据的常用操作,例如我们需要设计一个日志(log)集合,日志的查看频率不高,但写入频率却很高,那么我们就可以得到这个集合中常用的操作是更新(增删改)。如果我们要保存的是城市列表呢?显而易见,这个集合是一个查看频率很高,但写入频率很低的集合,那么常用的操作就是查询。
对于频繁更新和频繁查询的集合,我们最需要关注的重点是他们的范式化程度,在上篇范式化与反范式化的介绍中我们了解到,范式化与反范式化的合理运用对于性能的提高至关重要。然而这种设计的使用非常灵活,假设现在我们需要存储一篇图书及其作者,在MongoDB中的关联就可以体现为以下几种形式:
1.完全分离(范式化设计)
示例1:
View Code
{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
ObjectId("144b5d83041c7dca84416"),
ObjectId("144b5d83041c7dca84418"),
ObjectId("144b5d83041c7dca84420"),
]
}
我们将作者(comment) 的id数组作为一个字段添加到了图书中去。这样的设计方式是在非关系型数据库中常用的,也就是我们所说的范式化设计。在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合,用存储主键的方式进行关联查询。当我们要查询文章和评论时需要先查询到所需的文章,再从文章中获取评论id,最后用获得的完整的文章及其评论。在这种情况下查询性能显然是不理想的。但当某位作者的信息需要修改时,范式化的维护优势就凸显出来了,我们无需考虑此作者关联的图书,直接进行修改此作者的字段即可。
2.完全内嵌(反范式化设计)
示例2:
View Code
{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
{
"name" : "丁磊"
"age" : 40,
"nationality" : "china",
},
{
"name" : "马云"
"age" : 49,
"nationality" : "china",
},
{
"name" : "张召忠"
"age" : 59,
"nationality" : "china",
},
]
}
在这个示例中我们将作者的字段完全嵌入到了图书中去,在查询的时候直接查询图书即可获得所对应作者的全部信息,但因一个作者可能有多本著作,当修改某位作者的信息时时,我们需要遍历所有图书以找到该作者,将其修改。
3.部分内嵌(折中方案)
示例3:
View Code
{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
{
"_id" : ObjectId("144b5d83041c7dca84416"),
"name" : "丁磊"
},
{
"_id" : ObjectId("144b5d83041c7dca84418"),
"name" : "马云"
},
{
"_id" : ObjectId("144b5d83041c7dca84420"),
"name" : "张召忠"
},
]
}
这次我们将作者字段中的最常用的一部分提取出来。当我们只需要获得图书和作者名时,无需再次进入作者集合进行查询,仅在图书集合查询即可获得。
这种方式是一种相对折中的方式,既保证了查询效率,也保证的更新效率。但这样的方式显然要比前两种较难以掌握,难点在于需要与实际业务进行结合来寻找合适的提取字段。如同示例3所述,名字显然不是一个经常修改的字段,这样的字段如果提取出来是没问题的,但如果提取出来的字段是一个经常修改的字段(比如age)的话,我们依旧在更新这个字段时需要大范围的寻找并依此进行更新。
在上面三个示例中,第一个示例的更新效率是最高的,但查询效率是最低的,而第二个示例的查询效率最高,但更新效率最低。所以在实际的工作中我们需要根据自己实际的需要来设计表中的字段,以获得最高的效率。
如何正确的使用MongoDB并优化其性能
数据库性能对软件整体性能的影响是不言而喻的,那么,当我们使用MongoDB时改如何提高数据库性能呢?
1.范式化与反范式化
在项目设计阶段,明确集合的用途是对性能调优非常重要的一步。
从性能优化的角度来看,集合的设计我们需要考虑的是集合中数据的常用操作,例如我们需要设计一个日志(log)集合,日志的查看频率不高,但写入频率却很高,那么我们就可以得到这个集合中常用的操作是更新(增删改)。如果我们要保存的是城市列表呢?显而易见,这个集合是一个查看频率很高,但写入频率很低的集合,那么常用的操作就是查询。
对于频繁更新和频繁查询的集合,我们最需要关注的重点是他们的范式化程度,在上篇范式化与反范式化的介绍中我们了解到,范式化与反范式化的合理运用对于性能的提高至关重要。然而这种设计的使用非常灵活,假设现在我们需要存储一篇图书及其作者,在MongoDB中的关联就可以体现为以下几种形式:
1.完全分离(范式化设计)
示例1:
View Code
{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
ObjectId("144b5d83041c7dca84416"),
ObjectId("144b5d83041c7dca84418"),
ObjectId("144b5d83041c7dca84420"),
]
}
我们将作者(comment) 的id数组作为一个字段添加到了图书中去。这样的设计方式是在非关系型数据库中常用的,也就是我们所说的范式化设计。在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合,用存储主键的方式进行关联查询。当我们要查询文章和评论时需要先查询到所需的文章,再从文章中获取评论id,最后用获得的完整的文章及其评论。在这种情况下查询性能显然是不理想的。但当某位作者的信息需要修改时,范式化的维护优势就凸显出来了,我们无需考虑此作者关联的图书,直接进行修改此作者的字段即可。
2.完全内嵌(反范式化设计)
示例2:
View Code
{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
{
"name" : "丁磊"
"age" : 40,
"nationality" : "china",
},
{
"name" : "马云"
"age" : 49,
"nationality" : "china",
},
{
"name" : "张召忠"
"age" : 59,
"nationality" : "china",
},
]
}
在这个示例中我们将作者的字段完全嵌入到了图书中去,在查询的时候直接查询图书即可获得所对应作者的全部信息,但因一个作者可能有多本著作,当修改某位作者的信息时时,我们需要遍历所有图书以找到该作者,将其修改。
3.部分内嵌(折中方案)
示例3:
View Code
{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
{
"_id" : ObjectId("144b5d83041c7dca84416"),
"name" : "丁磊"
},
{
"_id" : ObjectId("144b5d83041c7dca84418"),
"name" : "马云"
},
{
"_id" : ObjectId("144b5d83041c7dca84420"),
"name" : "张召忠"
},
]
}
这次我们将作者字段中的最常用的一部分提取出来。当我们只需要获得图书和作者名时,无需再次进入作者集合进行查询,仅在图书集合查询即可获得。
这种方式是一种相对折中的方式,既保证了查询效率,也保证的更新效率。但这样的方式显然要比前两种较难以掌握,难点在于需要与实际业务进行结合来寻找合适的提取字段。如同示例3所述,名字显然不是一个经常修改的字段,这样的字段如果提取出来是没问题的,但如果提取出来的字段是一个经常修改的字段(比如age)的话,我们依旧在更新这个字段时需要大范围的寻找并依此进行更新。
在上面三个示例中,第一个示例的更新效率是最高的,但查询效率是最低的,而第二个示例的查询效率最高,但更新效率最低。所以在实际的工作中我们需要根据自己实际的需要来设计表中的字段,以获得最高的效率。
如何修改MONGODB字段的数组,不用整个字段修改
很好的一点就是,数据库不需要先建立,在连接后,如果进行插入数据操作,系统可以自己创建,我们假设一个post集合,里面是一些博客文章组成的文档。下面先插入几篇文章做实验。
1 >>> import datetime 2 >>> post1 = {"title":"I Love Python", 3 "slug":"i-love-python", 4 "author":"SErHo", 5 "content":"I Love Python....", 6 "tags":["Love","Python"], 7 "time":datetime.datetime.now()} 8 9 >>> post2 = {"title":"Python and MongoDB", 10 "slug":"python-mongodb", 11 "author":"SErHo", 12 "content":"Python and MongoDB....", 13 "tags":["Python","MongoDB"], 14 "time":datetime.datetime.now()} 15 16 >>> post3 = {"title":"SErHo Blog", 17 "slug":"serho-blog", 18 "author":"Akio", 19 "content":"SErHo Blog is OK....", 20 "tags":["SErHo","Blog"], 21 "time":datetime.datetime.now()} 22 23 >>> posts.insert(post1) 24 >>> posts.insert(post2) 25 >>> posts.insert(post3)
在插入一个文档时,MongoDB会自动给每个文档增加一个”_id”的键,这个键是通过复杂计算出来的,不会重复,类似于下面这样的:
1 ObjectId('4ea0207dd483050fe8000001')
增加数据就是这样的简单,不需要事先定义文档的机构,每个文档的结构也可以不一样,上面我举的例子是一样的,这可以根据实际需求来设置,我这个是为了好讲解下面的。插入过后,肯定最先的是查询,下面查询出post集合里面的所有文档:
1 >>> posts = posts.find() 2 >>> count = posts.count() 3 >>> for post in posts: 4 print post
数据库使用游标来返回find的结果,游标上有多种方法,比如上面的count(),就可以得到查询到的文档总数。这个例子将返回”count=3″和上面的那三篇文档。更多查询方法在后面将讲解,这些方法更加强大。
插入过后可能发现需要修改,于是下面讲解一些修改的方法。如果需要大幅度的修改,什么是大幅度的修改呢,比如把post1的title,slug,author等都修改了,我的理解就是大于一个键的修改就叫大幅修改。修改一个东西,你得先找到他,所以查询方法就很重要了,不幸的是,这个准备后面才将。我们先随便查找一个来修改吧。
1 >>> post = posts.find_one({"slug":"python-mongodb"}) 2 >>> post["author"] 3 u'SErHo' 4 >>> post["author"] = "HaHa Lu" 5 >>> post["title"] = "Test Update" 6 >>> post["title"] = "Test Update" 7 >>> post["_id"] 8 ObjectId('4ea0207dd483050fe8000001') 9 >>> posts.update({"_id":post["_id"]},post) 10 >>> post = posts.find_one({"_id":post["_id"]}) 11 >>> print post 12 {u'author': u'HaHa Lu', u'title': u'Test Update', 13 u'tags': [u'Python', u'MongoDB'], 14 u'content': u'Python and MongoDB....', 15 u'time': datetime.datetime(2011, 10, 20, 21, 21, 52, 818000), 16 u'_id': ObjectId('4ea0207dd483050fe8000001'), 17 u'slug': u'python-mongodb'}
首先我们根据slug来获得一篇文章,然后可以通过Python字典访问方法得到键的值,然后重新设置,再对post集合进行更新,在对整个集合进行更新时,你得先匹配要更改的文档,利用_id这个属性来更新是比较常用的方法,因为你其他改了,这个可改不了。在执行update中最常见的错误就是*的条件找到了多个文档,如果这样,数据库就不会更新这个集合,所有最好使用_id来匹配。
如果只更新一个键呢,那就不用这么大费周折了,可以使用”$set”这个修改器,指定一个键,如果不存在,就可以创建。比如我要继续更新上面那篇文章的content,可以这样做(记住,修改它,必须先找到它,这里我利用上面查询到的_id值来找):
1 >>> posts.update({"_id":post["_id"]},{"$set": 2 {"content":"Test Update SET...."}})
MongoDB的修改是很强大的,你可以把数据类型也给改了,比如把tags的数组改成普通的字符串。”$set”过后又想删除这个键,可以使用”$unset”。如果我的这个post里面有一个键是views,即文章访问的次数,我想在每次访问这个文章后给它的值增加1,这该怎么办?于是”$inc”修改器出场了,这个可以用来增加已有键的值,如果没有,则创建它,类似的用法是:
1 2 >>> posts.update({"_id":post["_id"]},{"$inc": {"views":1}})
如果想修改tags这个数组里面的内容怎么办?有一个办法就是用$set整体修改,但只是改里面的一些元素呢,MongoDB准备好了用于数组的修改器。比如,想要在tags里面加一个”Test”,这需要使用”$push”,它可以在数组末尾添加一个元素:
1 >>> posts.update({"_id":post["_id"]},{"$push":{"tags":"Test"}})
为了避免加入了重复的,可以将”$push”改为使用”$addToSet”,如果需要添加多个值,可以配合”$each”来使用,这样就可以添加不重复的进去,如下面:
1 2 >>> posts.update({"_id":post["_id"]},{"$addToSet": 3 {"tags":{"$each":["Python","Each"]}}})
说完了添加,下面是删除,可以把数组看成栈和队列,使用”$pop”来操作,比如上面的:
1 >>> posts.update({"_id":post["_id"]},{"$pop":{"tags":1}})
这个会删除tags里面最后一个,改成-1则删除第一个。可以使用”$pull”来删除数组中指定的值,它会删除数组中所有匹配的值。如何修改其中的一个值呢?可以先删除掉,再增加一个进去,还有就是直接定位修改。比如tags数组中,”Python”是第一个,想把它改成”python”,可以通过下标直接选择,就是tags[0],然后使用上面的”$set”等修改器,如果不确定可以使用$来定位:
1 >>> posts.update({"tags":"MongoDB"},{"$set":{"tags.$":"Hello"}})
这个将先搜索tags中满足”MongoDB”的,如果找到,就把它修改为”Hello”。可以看到上面的update这个函数已经有两个参数了,它还有第3个参数upsert,如果设为”True”,则如果没有找到匹配的文档,就会在匹配的基础上新建一个文档,具体实例就不讲了。
如何修改MONGODB字段的数组,不用整个字段修改
很好的一点就是,数据库不需要先建立,在连接后,如果进行插入数据操作,系统可以自己创建,我们假设一个post集合,里面是一些博客文章组成的文档。下面先插入几篇文章做实验。
1 >>> import datetime 2 >>> post1 = {"title":"I Love Python", 3 "slug":"i-love-python", 4 "author":"SErHo", 5 "content":"I Love Python....", 6 "tags":["Love","Python"], 7 "time":datetime.datetime.now()} 8 9 >>> post2 = {"title":"Python and MongoDB", 10 "slug":"python-mongodb", 11 "author":"SErHo", 12 "content":"Python and MongoDB....", 13 "tags":["Python","MongoDB"], 14 "time":datetime.datetime.now()} 15 16 >>> post3 = {"title":"SErHo Blog", 17 "slug":"serho-blog", 18 "author":"Akio", 19 "content":"SErHo Blog is OK....", 20 "tags":["SErHo","Blog"], 21 "time":datetime.datetime.now()} 22 23 >>> posts.insert(post1) 24 >>> posts.insert(post2) 25 >>> posts.insert(post3)
在插入一个文档时,MongoDB会自动给每个文档增加一个”_id”的键,这个键是通过复杂计算出来的,不会重复,类似于下面这样的:
1 ObjectId('4ea0207dd483050fe8000001')
增加数据就是这样的简单,不需要事先定义文档的机构,每个文档的结构也可以不一样,上面我举的例子是一样的,这可以根据实际需求来设置,我这个是为了好讲解下面的。插入过后,肯定最先的是查询,下面查询出post集合里面的所有文档:
1 >>> posts = posts.find() 2 >>> count = posts.count() 3 >>> for post in posts: 4 print post
数据库使用游标来返回find的结果,游标上有多种方法,比如上面的count(),就可以得到查询到的文档总数。这个例子将返回”count=3″和上面的那三篇文档。更多查询方法在后面将讲解,这些方法更加强大。
插入过后可能发现需要修改,于是下面讲解一些修改的方法。如果需要大幅度的修改,什么是大幅度的修改呢,比如把post1的title,slug,author等都修改了,我的理解就是大于一个键的修改就叫大幅修改。修改一个东西,你得先找到他,所以查询方法就很重要了,不幸的是,这个准备后面才将。我们先随便查找一个来修改吧。
1 >>> post = posts.find_one({"slug":"python-mongodb"}) 2 >>> post["author"] 3 u'SErHo' 4 >>> post["author"] = "HaHa Lu" 5 >>> post["title"] = "Test Update" 6 >>> post["title"] = "Test Update" 7 >>> post["_id"] 8 ObjectId('4ea0207dd483050fe8000001') 9 >>> posts.update({"_id":post["_id"]},post) 10 >>> post = posts.find_one({"_id":post["_id"]}) 11 >>> print post 12 {u'author': u'HaHa Lu', u'title': u'Test Update', 13 u'tags': [u'Python', u'MongoDB'], 14 u'content': u'Python and MongoDB....', 15 u'time': datetime.datetime(2011, 10, 20, 21, 21, 52, 818000), 16 u'_id': ObjectId('4ea0207dd483050fe8000001'), 17 u'slug': u'python-mongodb'}
首先我们根据slug来获得一篇文章,然后可以通过Python字典访问方法得到键的值,然后重新设置,再对post集合进行更新,在对整个集合进行更新时,你得先匹配要更改的文档,利用_id这个属性来更新是比较常用的方法,因为你其他改了,这个可改不了。在执行update中最常见的错误就是*的条件找到了多个文档,如果这样,数据库就不会更新这个集合,所有最好使用_id来匹配。
如果只更新一个键呢,那就不用这么大费周折了,可以使用”$set”这个修改器,指定一个键,如果不存在,就可以创建。比如我要继续更新上面那篇文章的content,可以这样做(记住,修改它,必须先找到它,这里我利用上面查询到的_id值来找):
1 >>> posts.update({"_id":post["_id"]},{"$set": 2 {"content":"Test Update SET...."}})
MongoDB的修改是很强大的,你可以把数据类型也给改了,比如把tags的数组改成普通的字符串。”$set”过后又想删除这个键,可以使用”$unset”。如果我的这个post里面有一个键是views,即文章访问的次数,我想在每次访问这个文章后给它的值增加1,这该怎么办?于是”$inc”修改器出场了,这个可以用来增加已有键的值,如果没有,则创建它,类似的用法是:
1 2 >>> posts.update({"_id":post["_id"]},{"$inc": {"views":1}})
如果想修改tags这个数组里面的内容怎么办?有一个办法就是用$set整体修改,但只是改里面的一些元素呢,MongoDB准备好了用于数组的修改器。比如,想要在tags里面加一个”Test”,这需要使用”$push”,它可以在数组末尾添加一个元素:
1 >>> posts.update({"_id":post["_id"]},{"$push":{"tags":"Test"}})
为了避免加入了重复的,可以将”$push”改为使用”$addToSet”,如果需要添加多个值,可以配合”$each”来使用,这样就可以添加不重复的进去,如下面:
1 2 >>> posts.update({"_id":post["_id"]},{"$addToSet": 3 {"tags":{"$each":["Python","Each"]}}})
说完了添加,下面是删除,可以把数组看成栈和队列,使用”$pop”来操作,比如上面的:
1 >>> posts.update({"_id":post["_id"]},{"$pop":{"tags":1}})
这个会删除tags里面最后一个,改成-1则删除第一个。可以使用”$pull”来删除数组中指定的值,它会删除数组中所有匹配的值。如何修改其中的一个值呢?可以先删除掉,再增加一个进去,还有就是直接定位修改。比如tags数组中,”Python”是第一个,想把它改成”python”,可以通过下标直接选择,就是tags[0],然后使用上面的”$set”等修改器,如果不确定可以使用$来定位:
1 >>> posts.update({"tags":"MongoDB"},{"$set":{"tags.$":"Hello"}})
这个将先搜索tags中满足”MongoDB”的,如果找到,就把它修改为”Hello”。可以看到上面的update这个函数已经有两个参数了,它还有第3个参数upsert,如果设为”True”,则如果没有找到匹配的文档,就会在匹配的基础上新建一个文档,具体实例就不讲了。
windows7 怎么启动mongodb
方法/步骤
1、登陆mongodb官网点击右侧的下载
2、选择windows平台,如图点击需要的zip文件下载(笔者这里主要讲诉zip文件的安装)
legacy版本可以用于旧版本系统下安装,这里不推荐。
3、将zip文件解压放到盘符的根目录(如C:或D:),为了方便建议文件夹命名尽量简短如(d:\mongodb)
4、创建数据库文件的存放位置,比如d:/mongodb/data/db。启动mongodb服务之前需要必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。
5、打开cmd(windows键+r输入cmd)命令行,进入D:\mongodb\bin目录(如图先输入d:进入d盘然后输入cd d:\mongodb\bin),
输入如下的命令启动mongodb服务:
D:/mongodb/bin>mongod --dbpath D:\mongodb\data\db
6、mongodb默认连接端口27017,如果出现如图的情况,可以打开http://localhost:27017查看(笔者这里是chrome),发现如图则表示连接成功,如果不成功,可以查看端口是否被占用。
7、其实可以将MongoDB设置成Windows服务,这个操作就是为了方便,每次开机MongoDB就自动启动了。
如图在d:\mongodb\data下新建文件夹log(存放日志文件)并且新建文件mongodb.log
在d:\mongodb新建文件mongo.config
8、用记事本打开mongo.config输入:
dbpath=D:\mongodb\data\db
logpath=D:\mongodb\data\log\mongo.log
(图片的logpath有错误)
用管理员身份打开cmd命令行,进入D:\mongodb\bin目录,输入如下的命令:
D:\mongodb\bin>mongod --config D:\mongodb\mongo.config
9、有人提醒改为如下:
mongod --config D:\mongodb\mongo.config --install --serviceName "MongoDB"
如图结果存放在日志文件中,查看日志发现已经成功。如果失败有可能没有使用管理员身份,遭到拒绝访问。
10、打开cmd输入services.msc查看服务可以看到MongoDB服务,点击可以启动。
怎么在Centos7下安装MongoDB
1、mongodb下载地址:http://www.mongodb.org/downloads,可以找到32位的tgz文件地址,如:http://fastdl.mongodb.org/linux/mongodb-linux-i686-2.4.2.tgz
2、安装MongoDB(安装到/usr)
cd /usr
wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-2.4.2.tgz
tar zxvf mongodb-linux-i686-2.4.2.tgz
mv mongodb-linux-i686-2.4.2 mongodb (文件重命名,移动文件跟重命名都是同一个命令,mv(就是move)的意思)
cd mongodb
mkdir data
cd data
mkdir db (建立数据文件目录)
cd ../
mkdir logs (建立日志目录)
cd bin
vi mongodb.conf
3、mongodb.conf文件输入如下内容:
dbpath=/data/db (看w3cschool上,data目录只能在根目录上,不然自启动会有问题)
logpath=/usr/mongodb/logs/mongodb.log
port=27017
fork=true
nohttpinterface=true
4、命令行输入一下内容,重新绑定mongodb的配置文件地址和访问IP
/usr/mongodb/bin/mongod --bind_ip localhost -f /usr/mongodb/bin/mongodb.conf
5、开机自动启动mongodb
vi /etc/rc.d/rc.local
/usr/mongodb/bin/mongod --config /usr/mongodb/bin/mongodb.conf (文件输入内容)
6、重启一下系统,测试下能不能自启
#进入mongodb的shell模式
/usr/mongodb/bin/mongo
#查看数据库列表
show dbs
#当前db版本
db.version();
7、配置环境变量
vi /etc/profile #添加环境变量,编辑,在最后一行添加下面的代码:
export PATH=$PATH:/usr/mongodb/bin
保存后重启电脑。这样直接输入mongo就可以连接数据库了,在不需要像5中需要输入/usr/mongodb/bin/mongo进入mongodb的shell模式了
8、如果某次启动后,发现输入mongo无法连接数据库,可能原因是上次未正常关机导致的,此时删除/data/db目录内的mogod.lock文件,重启即可。
9、mongodb管理工具:Robomongo
centos安装mongodb
标签:
怎么在Centos7下安装MongoDB
1、mongodb下载地址:http://www.mongodb.org/downloads,可以找到32位的tgz文件地址,如:http://fastdl.mongodb.org/linux/mongodb-linux-i686-2.4.2.tgz
2、安装MongoDB(安装到/usr)
cd /usr
wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-2.4.2.tgz
tar zxvf mongodb-linux-i686-2.4.2.tgz
mv mongodb-linux-i686-2.4.2 mongodb (文件重命名,移动文件跟重命名都是同一个命令,mv(就是move)的意思)
cd mongodb
mkdir data
cd data
mkdir db (建立数据文件目录)
cd ../
mkdir logs (建立日志目录)
cd bin
vi mongodb.conf
3、mongodb.conf文件输入如下内容:
dbpath=/data/db (看w3cschool上,data目录只能在根目录上,不然自启动会有问题)
logpath=/usr/mongodb/logs/mongodb.log
port=27017
fork=true
nohttpinterface=true
4、命令行输入一下内容,重新绑定mongodb的配置文件地址和访问IP
/usr/mongodb/bin/mongod --bind_ip localhost -f /usr/mongodb/bin/mongodb.conf
5、开机自动启动mongodb
vi /etc/rc.d/rc.local
/usr/mongodb/bin/mongod --config /usr/mongodb/bin/mongodb.conf (文件输入内容)
6、重启一下系统,测试下能不能自启
#进入mongodb的shell模式
/usr/mongodb/bin/mongo
#查看数据库列表
show dbs
#当前db版本
db.version();
7、配置环境变量
vi /etc/profile #添加环境变量,编辑,在最后一行添加下面的代码:
export PATH=$PATH:/usr/mongodb/bin
保存后重启电脑。这样直接输入mongo就可以连接数据库了,在不需要像5中需要输入/usr/mongodb/bin/mongo进入mongodb的shell模式了
8、如果某次启动后,发现输入mongo无法连接数据库,可能原因是上次未正常关机导致的,此时删除/data/db目录内的mogod.lock文件,重启即可。
9、mongodb管理工具:Robomongo
centos安装mongodb
标签:
如何安装,配置MongoDB
1、下载 MongoDB
官方下载地址: http://www.mongodb.org/downloads
本机是Windows 7 32位,故下载的是mongodb-win32-i386-2.6.1.zip,后续例程均是基于该版本数据库。
2、配置环境变量
解压mongodb-win32-i386-2.6.1.zip文件到E:\,并重新命名mongodb-win32-i386-2.6.1文件夹为mongodb,目录结构如下图
并在系统设置中配置环境变量path = E:\mongodb\bin;( 便于在命令行中直接使用mogodb命令 )
3、配置MongoDB数据库
创建一个mongo.config配置文件,配置MongoDB数据库的dbpath(数据库存储路径)和logpath(日志文件存储路径);
你也可是使用 --dbpath选项和 --logpath选项来配置路径;
##store data here
dbpath=E:\mongodb\data
##all output go here
logpath=E:\mongodb\log\mongo.log
特别提示:
由于dbpath路径为 E:\mongodb\data ,而这个文件夹默认不存在,故 需手动创建 ,不然在执行MongoDB服务器时会提示找不到该文件夹;同理,也需 手动创建 一个 E:\mongodb\log 文件夹用于保存日志。
4、启动MongoDB服务器
使用 mongod.exe --config E:\mongodb\mongo.config 启动MongoDB服务器。--config 选项表示启动时通过 E:\mongodb\mongo.config配置文件的信息配置服务器。
5、连接MongoDB服务器
使用mongo.exe连接已经启动的MongoDB server。(如果第4步服务器没有启动成功,连接MongoDB服务器时会报第7步异常里的错误!)
启动成功后,进入mongodb shell命令行,在 mongodb shell命令行 中我们可以进行数据库的访问,已经对数据库执行CRUD操作。
6、添加MongoDB到Winodows服务
window服务来启动MongoDB 服务器。其实做到第5步,我们已经完成了对MongoDB数据的安装已经配置,可以直接开始鼓捣MongoDB CRUD命令
了,但是每次都通过第4步进行添加配置并启动难免麻烦,这才有了第6步添加MongoDB到window服务,实现了通过启动服务来启动MongoDB 服务
器。
1)添加MongoDB到Windows Service, 以便于通过window服务配置系统启动时MongoDB服务自动启动。配置成功后,在控制面板的服务中可看到该服务,如下图所示:
C:\Users\Administrator> mongod --config D:\mongodb\mongo.config --install
2)启动MongoDB服务
C:\Users\Administrator> net start MongoDB
3)停止MongoDB服务
C:\Users\Administrator> net stop MongoDB
4)从windows服务中移除MongoDB服务
C:\Users\Administrator> mongod --remove
5)通过mongod --help查看更多的配置命令选项。
C:\Users\Administrator> mongod --help
--install install mongodb service
--remove remove mongodb service
7、异常:
warning: Failed to connect to 127.0.0.1:27017, reason: errno:10061
表示:没有启动MondoDB服务器,或启动服务器失败;
Linux Centos 7安装MongoDB(简单!详细!)
使用 概括几个常用的:
详解:
2. 验证安装结果 rpm -qa |grep mongodb 复制代码 rpm -ql mongodb-org-server 复制代码
启动MongoDB服务
MongoDB默认端口是27017,查看是否开启
检查数据库是否安装成功
4. 验证服务开启 mongo 复制代码
修改绑定ip默认127.0.0.1只允许本地连接, 所以修改为bindIp:0.0.0.0, 退出保存
方法一
方法二
默认连接
连接到自定义的用户
规则
说明
root
只在admin数据库中可用。超级账号,超级权限
Read
允许用户读取指定数据库
readWrite
允许用户读写指定数据库
dbAdmin
允许用户在指定数据库中执行管理函数,如索引创建、删除,查看统计或访问system.profile
userAdmin
允许用户向system.users集合写入,可以找指定数据库里创建、删除和管理用户
clusterAdmin
只在admin数据库中可用,赋予用户所有分片和复制集相关函数的管理权限
readAnyDatabase
只在admin数据库中可用,赋予用户所有数据库的读权限
readWriteAnyDatabase
只在admin数据库中可用,赋予用户所有数据库的读写权限
userAdminAnyDatabase
只在admin数据库中可用,赋予用户所有数据库的userAdmin权限
dbAdminAnyDatabase
只在admin数据库中可用,赋予用户所有数据库的dbAdmin权限