Python爬虫之mongodb的增删改查

Mongodb的的增删改查

学习目标

1. 掌握 mongodb插入数据的方法
2. 掌握 mongodb保存数据的方法
3. 掌握 mongodb查询数据的方法
4. 掌握 mongodb查询结果的处理方法
5. 掌握 mongodb更新数据的方法
6. 掌握 mongodb删除数据的方法

1. mongodb插入数据

命令：​​db.集合名称.insert(document)​​

db.stu.insert({name:'gj', gender:1})
db.stu.insert({_id:"20170101", name:'gj', gender:1})

插文档时，如果不指定_id参数，MongoDB会为文档自动分配一个唯一的ObjectId

2. mongodb的保存

命令：​​db.集合名称.save(document)​​

db.stu.save({_id:'20170101', name:'gj', gender:2})
db.stu.save({name:'gj', gender:2})
db.stu.find()

如果文档的_id已经存在则修改，如果_id不存在则添加

3 mongodb的查询

命令：​​db.集合名称.find()​​

可以使用以下数据进行练习

db.stu.insert([{"name" : "郭靖", "hometown" : "蒙古", "age" : 20, "gender" : true },
{"name" : "黄蓉", "hometown" : "桃花岛", "age" : 18, "gender" : false },
{"name" : "华筝", "hometown" : "蒙古", "age" : 18, "gender" : false },
{"name" : "黄药师", "hometown" : "桃花岛", "age" : 40, "gender" : true },
{"name" : "段誉", "hometown" : "大理", "age" : 16, "gender" : true },
{"name" : "段王爷", "hometown" : "大理", "age" : 45, "gender" : true },
{"name" : "洪七公", "hometown" : "华筝", "age" : 18, "gender" : true }])

3.1 简单查询

• 方法find()： 查询
  ​​​db.集合名称.find({条件文档})​​
• 方法findOne()：查询，只返回第一个
  ​​​db.集合名称.findOne({条件文档})​​
• 方法pretty()： 将结果格式化；不能和findOne()一起使用！
  ​​​db.集合名称.find({条件文档}).pretty()​​

3.2 比较运算符

• 等于： 默认是等于判断， 没有运算符
• 小于：​​$lt （less than）​​
• 小于等于：​​$lte （less than equal）​​
• 大于：​​$gt （greater than）​​
• 大于等于：​​$gte​​
• 不等于：​​$ne​​

查询年龄大于18的所有学生
db.stu.find({age:{$gte:18}})

3.3 逻辑运算符

逻辑运算符主要指与、或逻辑

• and：在json中写多个条件即可

查询年龄大于或等于18， 并且性别为true的学生
db.stu.find({age:{$gte:18},gender:true})

• or:使用$or， 值为数组， 数组中每个元素为json

查询年龄大于18， 或性别为false的学生
db.stu.find({$or:[{age:{$gt:18}},{gender:false}]})

查询年龄大于18或性别为男生， 并且姓名是郭靖
db.stu.find({$or:[{age:{$gte:18}},{gender:true}],name:'gj'})

3.4 范围运算符

使用​​$in​​​， ​​$nin​​ 判断数据是否在某个数组内

查询年龄为18、 28的学生
db.stu.find({age:{$in:[18,28,38]}})

3.5 支持正则表达式

使用$regex编写正则表达式

查询name以'黄'开头的数据
db.stu.find({name:{$regex:'^黄'}})

3.6 自定义查询

mongo shell 是一个js的执行环境
使用$where 写一个函数， 返回满足条件的数据

查询年龄大于30的学生
db.stu.find({
 $where:function() {
     return this.age>30;}
})

3.7 skip和limit

• 方法limit()： 用于读取指定数量的文档

db.集合名称.find().limit(NUMBER)
查询2条学生信息
db.stu.find().limit(2)

• 方法skip()： 用于跳过指定数量的⽂档

db.集合名称.find().skip(NUMBER)
db.stu.find().skip(2)

• 同时使用

db.stu.find().limit(4).skip(5)
db.stu.find().skip(5).limit(4)

注意：先使用skip在使用limit的效率要高于前者

3.8 投影

在查询到的返回结果中， 只选择必要的字段

命令：​​db.集合名称.find({},{字段名称:1,...})​​

参数为字段与值， 值为1表示显示， 值为0不显
特别注意：

• 对于_id列默认是显示的， 如果不显示需要明确设置为0
• 对于其他不显示的字段不能设置为0

​​db.stu.find({},{_id:0,name:1,gender:1})​​

3.9 排序

方法sort()， 用于对查询结果按照指定的字段进行排序

命令：​​db.集合名称.find().sort({字段:1,...})​​

参数1为升序排列
参数-1为降序排列

根据性别降序， 再根据年龄升序
db.stu.find().sort({gender:-1,age:1})

3.10 统计个数

方法count()用于统计结果集中文档条数

命令：​​db.集合名称.find({条件}).count()​​​ 命令：​​db.集合名称.count({条件})​​

db.stu.find({gender:true}).count()
db.stu.count({age:{$gt:20},gender:true})

4 mongodb的更新

db.集合名称.update({query}, {update}, {multi: boolean})

• 参数query:查询条件
• 参数update:更新操作符
• 参数multi:可选，默认是false，表示只更新找到的第一条数据，值为true表示把满足条件的数据全部更新

db.stu.update({name:'hr'},{name:'mnc'})           # 全文档进行覆盖更新
db.stu.update({name:'hr'},{$set:{name:'hys'}})    # 指定键值更新操作
db.stu.update({},{$set:{gender:0}},{multi:true})  # 更新全部

注意：“multi update only works with $ operators”

• multi参数必须和$set一起使用！

5 mongodb的删除

db.集合名称.remove({query}, {justOne: boolean})

- 参数query:可选，删除的⽂档的条件
- 参数justOne:可选， 如果设为true或1，则只删除一条，默认false，表示删除全部

小结

1. mongo shell中的增
   db.集合名.insert({数据})
   db.集合名.save({包含_id的完整数据}) # 根据指定的_id进行保存，存在则更新，不存在则插入
2. mongo shell中的删
   db.集合名.remove({条件}, {justOne: true/false})
3. mongo shell中的改
   db.集合名.update({条件}, {$set:{完整数据/部分字段}}, {multi: true/false})
4. mongo shell中的查
   db.集合名.find({条件}, {字段投影})